目录
HiveHive安装地址
1）Hive官网地址
2）文档查看地址
https://cwiki.apache.org/confluence/display/Hive/GettingStarted
3）下载地址
https://archive.apache.org/dist/hive/
4）github地址
https://github.com/apache/hive
MySql安装
0）为什么需要Mysql
原因在于Hive默认使用的元数据库为derby，开启Hive之后就会占用元数据库，且不与其他客户端共享数据，如果想多窗口操作就会报错，操作比较局限。以我们需要将Hive的元数据地址改为MySQL，可支持多窗口操作。
1）检查当前系统是否安装过Mysql
[hadoop@hadoop102 ~]$ rpm -qa|grep mariadb
mariadb-libs-5.5.56-2.el7.x86_64 //如果存在通过如下命令卸载
[hadoop @hadoop102 ~]$ sudo rpm -e --nodeps mariadb-libs //用此命令卸载mariadb
2）将MySQL安装包拷贝到/opt/software目录下
[hadoop @hadoop102 software]# ll
总用量 528384
-rw-r--r--. 1 root root 609556480 3月 21 15:41 mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
3）解压MySQL安装包
[hadoop @hadoop102 software]# tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
4）在安装目录下执行rpm安装
[hadoop @hadoop102 software]$ sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
[hadoop @hadoop102 software]$ sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
[hadoop @hadoop102 software]$ sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
[hadoop @hadoop102 software]$ sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
[hadoop @hadoop102 software]$ sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
注意：按照顺序依次执行
如果Linux是最小化安装的，在安装 mysql-community-server-5.7.28-1.el7.x86_64.rpm 时可能会出现如下错误。
[hadoop@hadoop102 software]$ sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
警告：mysql-community-server-5.7.28-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY
错误：依赖检测失败：
libaio.so.1()(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要
libaio.so.1(LIBAIO_0.1)(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要
libaio.so.1(LIBAIO_0.4)(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要
通过yum安装缺少的依赖,然后重新安装 mysql-community-server-5.7.28-1.el7.x86_64 即可
[hadoop@hadoop102 software] yum install -y libaio
5）删除/etc/my.cnf文件中datadir指向的目录下的所有内容,如果有内容的情况下:
查看datadir的值：
[mysqld]
datadir=/var/lib/mysql
删除/var/lib/mysql目录下的所有内容：
[hadoop @hadoop102 mysql]# cd /var/lib/mysql
[hadoop @hadoop102 mysql]# sudo rm -rf ./* //注意执行命令的位置
6）初始化数据库
[hadoop @hadoop102 opt]$ sudo mysqld --initialize --user=mysql
7）查看临时生成的root用户的密码
[hadoop @hadoop102 opt]$ cat /var/log/mysqld.log
8）启动MySQL服务
[hadoop @hadoop102 opt]$ sudo systemctl start mysqld
9）登录MySQL数据库
[hadoop @hadoop102 opt]$ mysql -uroot -p
Enter password: 输入临时生成的密码
登录成功.
10）必须先修改root用户的密码,否则执行其他的操作会报错
mysql> set password = password(“新密码”)
11）修改mysql库下的user表中的root用户允许任意ip连接
mysql> update mysql.user set host='%' where user='root';
mysql> flush privileges;
Hive安装部署
1）把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下
2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面
[hadoop@hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/
3）修改apache-hive-3.1.2-bin.tar.gz的名称为hive
[hadoop@hadoop102 software]$ mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive
4）修改/etc/profile.d/my_env.sh，添加环境变量
[hadoop@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh
5）添加内容
#HIVE_HOME
HIVE_HOME=/opt/module/hive
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin
export PATH JAVA_HOME HADOOP_HOME HIVE_HOME
6）解决日志Jar包冲突
[hadoop@hadoop102 software]$ mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak
Hive元数据配置到MySql
拷贝驱动
将MySQL的JDBC驱动拷贝到Hive的lib目录下
[hadoop@hadoop102 software]$ cp /opt/software/mysql-connector-java-5.1.48.jar $HIVE_HOME/lib
配置Metastore到MySql
在$HIVE_HOME/conf目录下新建hive-site.xml文件
[hadoop@hadoop102 software]$ vim $HIVE_HOME/conf/hive-site.xml
添加如下内容
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc连接的URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
</property>
<!-- jdbc连接的Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc连接的username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- jdbc连接的password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<!-- Hive默认在HDFS的工作目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<!-- Hive元数据存储的验证 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<!-- 元数据存储授权 -->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
</configuration>
启动Hive
初始化元数据库
1）登陆MySQL
[hadoop@hadoop102 software]$ mysql -uroot -p000000
2）新建Hive元数据库
mysql> create database metastore;
mysql> quit;
3）初始化Hive元数据库
[hadoop@hadoop102 software]$ schematool -initSchema -dbType mysql -verbose
启动Hive
0）先启动hadoop集群
1）启动Hive
[hadoop@hadoop102 hive]$ bin/hive
2）使用Hive
hive> show databases;
hive> show tables;
hive> create table test (id int);
hive> insert into test values(1);
hive> select * from test;
3）开启另一个窗口测试开启hive
[hadoop@hadoop102 hive]$ bin/hive
使用元数据服务的方式访问Hive
1）在hive-site.xml文件中添加如下配置信息
<!-- 指定存储元数据要连接的地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop102:9083</value>
</property>
2）启动metastore
[hadoop@hadoop202 hive]$ hive --service metastore
2020-04-24 16:58:08: Starting Hive Metastore Server
注意：启动后窗口不能再操作，需打开一个新的shell窗口做别的操作
3）启动 hive
[hadoop@hadoop202 hive]$ bin/hive
使用JDBC方式访问Hive
1）在hive-site.xml文件中添加如下配置信息
<!-- 指定hiveserver2连接的host -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>hadoop102</value>
</property>
<!-- 指定hiveserver2连接的端口号 -->
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
2）启动hiveserver2
[hadoop@hadoop102 hive]$ bin/hive --service hiveserver2
3）启动beeline客户端（需要多等待一会）
[hadoop@hadoop102 hive]$ bin/beeline -u jdbc:hive2://hadoop102:10000 -n hadoop
4）看到如下界面
Connecting to jdbc:hive2://hadoop102:10000
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.2 by Apache Hive
0: jdbc:hive2://hadoop102:10000>
挺好挺好