Hadoop集群搭建第四课——集群初始化与调试

经过了之前几节的操作之后，我们的hadoop集群搭建差不多完成了，接下就开始初始化。启动以及集群的测试，文件的上传、下载与删除等等。因为搭建集群的连贯性比较强，请按课程内容一节节操作。

首先：初始化namenode

使用原始机进入hadoop-2.10.1文件夹。使用以下命令初始化，出现图中所示即表示初始化成功。

hdfs namenode -format

 

初始化成功之后，会在hadoop-2.10.1目录下出现data目录，可以逐级进入至current查看版本。

关闭集群内虚拟机的防火墙，如果不关闭防火墙，需要将相关的端口开放。

systemctl stop firewalld.service

在原始机（hadoop01）上启动start-dfs.sb，在克隆机（hadoop02）上启动start-yarn.sh。

等待一段时间，使用jps查看启动情况。在集群内的虚拟机浏览器查看hadoop01:9870或者hadoop02:9868。

效果图如下：
 

在hadoop01使用下列命令上传文件夹至集群

hadoop fs -mkdir /sds

在浏览器刷新验证。在hadoop01新建文件aaa.txt，使用下列命令上传至集群内的sds文件夹

hadoop fs -put aaa.txt /sds/

使用以下命令删除上传的aaa.txt

hdfs dfs -rm -r /sds/aaa.txt

使用下列命令下载文件至虚拟机，也可以在浏览器直接下载

hadoop fs -get /sds/aaa.txt