阿里云搭建Hadoop集群
阿里云搭建Hadoop集群
https://blog.csdn.net/bqw18744018044/article/details/79103931
两台服务器，一台做master，一台做worker，worker就是slave。建议用之前配置好的服务器做master，新的主机做worker。
master上的工作
第一步通过vim hadoop /etc/hosts在master中添加worker的hostname
worker1
worker2
worker3
.....
1
2
3
4
第二步配置ssh无密码登陆
1. 将master上的公钥xxx.pub复制到worker上的authorized_keys里面。
scp xxx.pub worker_ip
2. 在worker中更改一下文件的权限。
chmod 600 authorized_keys
chmod 700 .ssh
1
2
3
4
5
6
第三步将master中的配置好的hadoop目录复制到worker中
首先，在master中压缩hadoop文件，在拷贝到worker中。网上很多教程是直接拷贝文件夹到worker中，这种做法的效率极低，文件的传输很慢，一定要压缩后再拷贝文件。
tar czvf hadoop-2.8.1.tar hadoop-2.8.1
scp hadoop-2.8.1.tar worker_ip
1
2
3
worker上的工作
第一步修改hostname为对应的worker，并修改对应的hosts中的IP映射。
第二步配置java环境。
第三步配置/etc/profile
1、2、3步参考我的上一篇博客进行完成。hadoop环境搭建。
第四步将从master中拷贝过来的hadoop压缩包进行解压，并移动到software目录下。
这次就完成了hadoop集群的搭建。
回到master中，使用./sbin/start-all.sh开启Hadoop集群。
在master中执行hadoop dfsadmin -report查看集群是否正常启动，下图表示启动成功：
————————————————
版权声明：本文为CSDN博主「vlions 」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_22600319/article/details/78241628