一、下载Kafka版本并安装

1、架构说明

2、下载版本

  • 官方版本:http://archive.apache.org/dist/
  • CDH版本:http://archive.cloudera.com/cdh5

3、安装解压

二、Kafka集群配置

  • server.properties

  • producer.properties

  • 配置分发到hadoop02和hadoop03上去

  • 分别更改hadoop02和hadoop03中server.properties的hostname

  • 分别更改hadoop02和hadoop03中broker.id为1和2(因为hadoop01的broker.id为0)

三、启动kafka依赖于zookeeper的服务并测试

1、启动各节点zookeeper集群

2、启动各节点kafka集群

3、创建topic

4、查看topic列表

5、生产者生成数据

这里使用ctrl + c终止,然后发送消息

6、消费者消费数据

可以看到打印出了,我们刚才发送的消息