Hadoop集群搭建第三课——集群配置

学会了hadoop安装以及完成了基本配置之后，就可以开始hadoop集群搭建的文件配置了，共需要完成五份文件的配置，在原始机完成配置之后直接用脚本分发即可。方便快捷，效率高。文件配置内容均需按自己机器的实际情况

首先进入hadoop-2.10.1/etc/hadoop目录

第一个：core-site.xml文件配置

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01的ip:8020</value>
</property>
   <property>
    <name>hadoop.tmp.dir</name>
    <value>/路径/hadoop-2.10.1/data</value>
</property>
   <property>
    <name>hadoop.http.staticuser.user</name>
    <value>用户名（root）</value>
</property>
</configuration>

第二个：hdfs-site.xml文件配置

<configuration>
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop102的ip:9870</value>
</property>
   <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop103的ip:9868</value>
</property>
</configuration>

第三个：yarn-site.xml文件配置

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.resourcemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
   <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop02的ip</value>
</property>
<property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA HOME,HADOOP COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>

编辑第四个之前完成几个步骤（如图中所示）

 

第四个：mapred-site.xml文件配置

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

第五个：slaves文件配置

以回车的方式输入hadoop01和hadoop02。中间不得输入空格。使用图中命令检查。

 
 

在原始机和克隆机都需要配置，可以直接使用脚本分发。回到上层etc目录直接使用以下命令分发。之后进入其它机器查看，目录相同。

xsync hadoop/