CentOS 安装
- 下载并安装 VMware Workstation 15 Pro
- 安装 CentOS-7-x86_64-Minimal-1908.iso
- IP:192.168.xxx.xxx 、host:hadoop
Hadoop 环境搭建
下载 hadoop 2.9.2

安装 Hadoop
- 上传 hadoop-2.9.2.tar.gz 到 home 目录
- 解压 tar -zxvf /home/hadoop-2.9.2.tar.gz -C /opt/
- 配置环境变量

[root@hadoop ~]# vi /etc/profile
# set hadoop environment
export HADOOP_HOME=/opt/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
[root@hadoop ~]# source /etc/profile
[root@hadoop ~]# hadoop version
安装 JDK
- 上传 jdk-8u112-linux-x64.tar.gz 到 home 目录
- 解压 tar -zxvf /home/jdk-8u112-linux-x64.tar.gz -C /opt/
- 配置环境变量

[root@hadoop ~]# vi /etc/profile
# set jdk environment
export JAVA_HOME=/opt/jdk1.8.0_112
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
[root@hadoop ~]# source /etc/profile
[root@hadoop ~]# java -version
关闭防火墙
[root@hadoop ~]# systemctl stop firewalld.service
[root@hadoop ~]# systemctl disable firewalld.service
修改 hosts 文件
[root@hadoop ~]# vi /etc/hosts
# 192.168.xxx.xxx hadoop
修改安全策略

[root@hadoop ~]# vi /etc/selinux/config
SELINUX=disabled
Hadoop 配置
- 修改 hadoop-env.sh
[root@hadoop ~]# vi /opt/hadoop-2.9.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/jdk1.8.0_112
- 修改 core-site.xml
指定 HDFS 的 NameNode 的地址,value 值是主机名加端口号,如果在 host 文件中添加了主机名和 ip 映射,主机名也可以用 ip 地址换。
[root@hadoop ~]# vi /opt/hadoop-2.9.2/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/temp</value>
</property>
</configuration>
- 修改 hdfs-site.xml
指定 hdfs 保存数据的副本数量,伪分布式只有一个节点,所以这里填:1 。
[root@hadoop ~]# vi /opt/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hdfs/data</value>
</property>
</configuration>
- 修改 mapred-site.xml
在 /opt/hadoop-2.9.2/etc/hadoop/ 目录下是没有 mapred-site.xml 文件的,我们可以通过命令创建:
[root@hadoop ~]# cd /opt/hadoop-2.9.2/etc/hadoop/
[root@hadoop ~]# cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 修改 yarn-site.xml
[root@hadoop ~]# vi /opt/hadoop-2.9.2/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>
</configuration>
初始化和启动
1、初始化
[root@hadoop ~]# cd /opt/hadoop-2.9.2/etc/hadoop
[root@hadoop ~]# hadoop namenode -format
2、启动测试
[root@hadoop ~]# cd /opt/hadoop-2.9.2/etc/hadoop
[root@hadoop ~]# start-all.sh
3、访问
http://192.168.xxx.xxx:50070/