Flume安装与应用
Flume概述
- 日志采集和汇总工具
- 收集到的日志数据汇总到HDFS存储
- flume: 1.9.0
Flume组件
- source：数据源（需要采集的数据）
- channel：临时存储的数据位置，通常存储在内存
- sink：数据目标存储，hdfs
搭建hadoop分布式环境
安装环境
- CentOS 8
- JDK：1.8_231
- hadoop：3.2.1
主机准备
主机名：hadoop
vi /etc/hostname主机名与IP地址映射：
1
2vi /etc/hosts
IP地址 hadoop防火墙关闭
1
systemctl status firewalld
创建hadoop用户
1
2useradd hadoop
passwd hadoophadoop用户环境变量，配置JDK； /home/hadoop/.bash_profile
