CentOS 安装

  1. 下载并安装 VMware Workstation 15 Pro
  2. 安装 CentOS-7-x86_64-Minimal-1908.iso
  3. IP：192.168.xxx.xxx 、host：hadoop

Hadoop 环境搭建

下载 hadoop 2.9.2

Hadoop 伪分布式搭建-简生笔记

安装 Hadoop

  • 上传 hadoop-2.9.2.tar.gz 到 home 目录
  • 解压 tar -zxvf /home/hadoop-2.9.2.tar.gz -C /opt/
  • 配置环境变量
Hadoop 伪分布式搭建-简生笔记
[root@hadoop ~]# vi /etc/profile
# set hadoop environment
export HADOOP_HOME=/opt/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
[root@hadoop ~]# source /etc/profile
[root@hadoop ~]# hadoop version

安装 JDK

  • 上传 jdk-8u112-linux-x64.tar.gz 到 home 目录
  • 解压 tar -zxvf /home/jdk-8u112-linux-x64.tar.gz -C /opt/
  • 配置环境变量
Hadoop 伪分布式搭建-简生笔记
[root@hadoop ~]# vi /etc/profile
# set jdk environment
export JAVA_HOME=/opt/jdk1.8.0_112
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
[root@hadoop ~]# source /etc/profile
[root@hadoop ~]# java -version

关闭防火墙

[root@hadoop ~]# systemctl stop firewalld.service
[root@hadoop ~]# systemctl disable firewalld.service

修改 hosts 文件

[root@hadoop ~]# vi /etc/hosts
# 192.168.xxx.xxx hadoop

修改安全策略

Hadoop 伪分布式搭建-简生笔记
[root@hadoop ~]# vi /etc/selinux/config
SELINUX=disabled

Hadoop 配置

  • 修改 hadoop-env.sh
[root@hadoop ~]# vi /opt/hadoop-2.9.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/jdk1.8.0_112
  • 修改 core-site.xml

指定 HDFS 的 NameNode 的地址，value 值是主机名加端口号，如果在 host 文件中添加了主机名和 ip 映射，主机名也可以用 ip 地址换。

[root@hadoop ~]# vi /opt/hadoop-2.9.2/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/temp</value>
</property>
</configuration>
  • 修改 hdfs-site.xml

指定 hdfs 保存数据的副本数量，伪分布式只有一个节点，所以这里填：1 。

[root@hadoop ~]# vi /opt/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hdfs/data</value>
</property>
</configuration>
  • 修改 mapred-site.xml

在 /opt/hadoop-2.9.2/etc/hadoop/ 目录下是没有 mapred-site.xml 文件的，我们可以通过命令创建：

[root@hadoop ~]# cd /opt/hadoop-2.9.2/etc/hadoop/
[root@hadoop ~]# cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
  • 修改 yarn-site.xml
[root@hadoop ~]# vi /opt/hadoop-2.9.2/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>
</configuration>

初始化和启动

1、初始化

[root@hadoop ~]# cd /opt/hadoop-2.9.2/etc/hadoop
[root@hadoop ~]# hadoop namenode -format

2、启动测试

[root@hadoop ~]# cd /opt/hadoop-2.9.2/etc/hadoop
[root@hadoop ~]# start-all.sh

3、访问

http://192.168.xxx.xxx:50070/