Flume概述

• 日志采集和汇总工具
• 收集到的日志数据汇总到HDFS存储
• flume: 1.9.0

Flume组件

• source：数据源（需要采集的数据）
• channel：临时存储的数据位置，通常存储在内存
• sink：数据目标存储，hdfs

网络访问工具

• 访问工具：浏览器
• 测试工具：postman
• 编程实现：apache httpclient
• 响应返回的也买你数据解析
  • jsoup实时页面数据解析
  • document对象数据抽取
• 抓包工具：Charles
• :warning:注意
  • 多线程
  • 无间断

实现功能

• httpclient发送请求访问豆瓣电影Top250
• html, jsoup, 字符串

Ajax异步请求

• 前后端分离
  • 发送异步请求获取接口数据（Vue/axios）
  • 请求跨域问题@CrossOrigin
• 部署服务器
  1. 前端部署：nginx
  2. 后端接口服务，nohup java -jar xxx.jar &

Ajax特点

• 允许在同一页面中多次发送请求，并动态加载服务器数据至页面中
• 可以有效地避免页面的频繁刷新
• 

开发工具

• idea工具
• 创建项目（Spring Boot）
• 构建工具 maven
• JDK：1.8
• Spring Boot\Druid\MySQL\MyBatis Plus

应用接口测试

• 浏览器
• postman

MySQL安装

1. 安装信息

   • 操作系统：centos8
   • MySQL版本：8.0.19
   • 安装方式：rpm

2. 安装

   • 上传安装文件到服务器

   • 使用root用户安装，自动创建mysql用户

   • 客户端

   1 2 3

   rpm -ivh mysql-community-common-8.0.19-1.el8.x86_64.rpm rpm -ivh mysql-community-libs-8.0.19-1.el8.x86_64.rpm rpm -ivh mysql-community-client-8.0.19-1.el8.x86_64.rpm

   • 服务端

     1	rpm -ivh mysql-community-server-8.0.19-1.el8.x86_64.rpm

课程内容

• Linux操作系统（VirtualBox、CentOS）
• MySQL数据库
• Spring Boot开发环境
• Ajax编程（Vue/Axios）
• 企业应用部署(Nginx/jar/负载)
• hadoop分布式环境
• hdfs常用命令/管理命令
• Java应用访问hdfs数据
• HttpClient工具应用
• jsoup页面解析
• logback日志存储
• flume日志采集工具
• Hive数据仓库
• Sqoop数据迁移工具

提交代码

1. 本地初始化环境
   • git init
2. 创建服务关联到仓库
   • git remote add duckfarm http://username:[email protected]
3. 拉取服务器仓库的环境
   • git pull --rebase duckfarm master
4. 创建分支
   • git branch localbranch
5. 在分支中工作
   • git checkout localbranch
6. 提交分支的文件到本地仓库
   • 暂存 git add .
   • 提交 git commit -a -m "Day 0 Note"
7. 同步本地代码到服务器仓库
   • git push --set-upstream duckfarm localbranch