Hadoop2.x HA架构与部署之YARN-HA

一、YARN-HA架构原理介绍

二、YARN-HA详细配置

1、基础配置情况

hadoop01 hadoop02 hadoop03
ResourceManager ResourceManager
nodeManager nodeManager nodeManager

2、修改配置

  • yarn-site.xml

3、把hadoop01上的yarn-site.xml分发给hadoop02和hadoop03

三、YARN-HA服务启动及自动故障转移测试

1、YARN-HA启动

  • 启动两个resourceMangaer

  • 启动三个nodemanager

此时可以看到hadoop01上可以访问

hadoop02上的备选resourcemanger不可用,并重定向到hadoop01的地址上去。
原因是已经选举了一个为active状态

2、测试mapreduce wordcount程序

跑Mapreduce的时候,让rm1宕机,进行观察

  • 创建一个MR输出目录

  • 上传一个文件到hdfs中

  • 跑Wordcount程序

  • 跑MapReduce的时候kill掉resourcemanager

发现rm1已经宕掉,开始连接rm2

此时访问网页,发现之前的rm2已经可以打开了,并且完成了mapreduce

观察结果,成功