阿里云搭建Hadoop集群

https://blog.csdn.net/bqw18744018044/article/details/79103931

• 兩臺服務器，一臺做master，一臺做worker，worker就是slave。建議用之前配置好的服務器做master，新的主機做worker。

• master上的工作

• 
  

• 第一步通過vim hadoop /etc/hosts在master中添加worker的hostname

• 
  

• worker1

• worker2

• worker3

• .....

• 1

• 2

• 3

• 4

• 第二步配置ssh無密碼登陸

• 
  

•  1. 將master上的公鑰xxx.pub復制到worker上的authorized_keys里面。

•      scp xxx.pub worker_ip

• 
  

•  2. 在worker中更改一下文件的權限。

•      chmod 600 authorized_keys

•      chmod 700 .ssh

• 1

• 2

• 3

• 4

• 5

• 6

• 第三步將master中的配置好的hadoop目錄復制到worker中

• 
  

• 首先，在master中壓縮hadoop文件，在拷貝到worker中。網上很多教程是直接拷貝文件夾到worker中，這種做法的效率極低，文件的傳輸很慢，一定要壓縮后再拷貝文件。

• tar czvf hadoop-2.8.1.tar  hadoop-2.8.1

• scp  hadoop-2.8.1.tar worker_ip

• 1

• 2

• 3

• worker上的工作

• 
  

• 第一步修改hostname為對應的worker，并修改對應的hosts中的IP映射。

• 
  

• 第二步配置java環境。

• 
  

• 第三步配置/etc/profile

• 
  

• 1、2、3步參考我的上一篇博客進行完成。hadoop環境搭建。

• 
  

• 第四步將從master中拷貝過來的hadoop壓縮包進行解壓，并移動到software目錄下。

• 
  

• 這次就完成了hadoop集群的搭建。

• 
  

• 回到master中，使用./sbin/start-all.sh開啟Hadoop集群。

• 
  

• 在master中執行hadoop dfsadmin -report查看集群是否正常啟動，下圖表示啟動成功：

•  ———————————————— 

• 版權聲明：本文為CSDN博主「vlions 」的原創文章，遵循CC 4.0 by-sa版權協議，轉載請附上原文出處鏈接及本聲明。

• 原文鏈接：https://blog.csdn.net/qq_22600319/article/details/78241628