一、flume节点服务设计

二、flume版本下载安装

1、下载

  • 官方版本;http://archive.apache.org/dist/flume/
  • CDH版本:http://archive.cloudera.com/cdh5/

2、安装

三、flume agent-1采集节点服务配置

source->channel->sink

1、Source线程
2、Channel线程
3、Sink线程

flume Agent-1主要是要完成日志合并处理的作用【Hadoop01】

先把hadoop01上的flume拷贝到hadoop02上
这样hadoop02配置完scp到hadoop03上即可

四、flume agent-2采集节点服务配置

flume Agent-2主要是完成分布式日志的收集【Hadoop02和Hadoop03】

1、flume-env.sh

2、flume-conf.properties

3、创建Weblogs.log

4、分发到hadoop03

5、hadoop03中的flume-conf.properties