巫师三通关纪念

断断续续玩了近一年,137小时终于通关了巫师三主线+2个DLC,支线也通了70%左右(不过估计三分之一的时间都沉迷于打昆特牌🤣)。这也成了我steam库存里游玩时间最长的一款游戏。

巫师三通关

结局选了椰奶,女儿当上了女皇,比较满意的一个结局。

阅读更多

记一次服务器迁移

用了一年的DigitalOcean终于到期了,服务器配置还是不错的,只是这网速真的是一言难尽,才用了没多久,后台面板都没办法直连了,服务器出故障了强制重启还只能另寻他路登录后台。。。不过这5刀一年近乎白嫖还要啥自行车?

在服务器到期前赶紧物色下一台小鸡,看了不少评测网站,最终选择了一款极具性价比的极光VPS,优惠后1H1G30Mbps一年只要200块!美西CN2线路和香港CMI线路都挺不错的,带宽也够大,用了1个多月来香港线路还是比较稳定的,平均延时只有50ms左右,太香了!虽说国内小厂有跑路风险,但自用挂个博客站在偶尔挂点测试站足够了,配置下自动备份到谷歌云,也不怕他跑路了。

阅读更多

Flume安装与应用

Flume概述

  • 日志采集和汇总工具
  • 收集到的日志数据汇总到HDFS存储
  • flume: 1.9.0

Flume组件

  • source:数据源(需要采集的数据)
  • channel:临时存储的数据位置,通常存储在内存
  • sink:数据目标存储,hdfs
阅读更多

网络数据采集与存储

网络访问工具

  • 访问工具:浏览器
  • 测试工具:postman
  • 编程实现:apache httpclient
  • 响应返回的也买你数据解析
    • jsoup实时页面数据解析
    • document对象数据抽取
  • 抓包工具:Charles
  • :warning:注意
    • 多线程
    • 无间断

实现功能

  • httpclient发送请求访问豆瓣电影Top250
  • html, jsoup, 字符串
阅读更多

搭建hadoop分布式环境

安装环境

  • CentOS 8
  • JDK:1.8_231
  • hadoop:3.2.1

主机准备

  • 主机名:hadoop

  • vi /etc/hostname

  • 主机名与IP地址映射:

    1
    2
    vi /etc/hosts
    IP地址 hadoop
  • 防火墙关闭

    1
    systemctl status firewalld
  • 创建hadoop用户

    1
    2
    useradd hadoop
    passwd hadoop
  • hadoop用户环境变量,配置JDK; /home/hadoop/.bash_profile

阅读更多