下载mysql5.7

1

wget https://mirrors.huaweicloud.com/mysql/Downloads/MySQL-5.7/mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz

解压至任意目录

1

tar -zxvf mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz -C /opt/

重命名一下

1
2

cd /opt
mv mysql-5.7.26-linux-glibc2.12-x86_64 mysql-5.7.26

创建my.cnf文件

1
2

cd /opt/mysql-5.7.26
touch my.cnf

写入以下配置信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

[mysqld]
port=3307

character-set-server=utf8mb4 
collation-server=utf8mb4_general_ci

innodb_buffer_pool_size = 64M
performance_schema=Off
table_definition_cache=400

datadir=/opt/mysql-5.7.26/data
socket=/opt/mysql-5.7.26/mysql.sock

log-error=/opt/mysql-5.7.26/log/mysqld.log
pid-file=/opt/mysql-5.7.26/mysqld.pid

[client] 
default-character-set=utf8mb4

创建必要目录

1

mkdir data log

执行初始化命令

1
2

cd bin
./mysqld --defaults-file=/opt/mysql-5.7.26/my.cnf --initialize-insecure  

原博文作者：迦壹

原博客地址：Centos7.6+Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建

转载 · Centos7.6+Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建

目录

[TOC]

1、前言
1.1、什么是 Hadoop?
1.1.1、什么是 YARN?
1.2、什么是 Zookeeper?
1.3、什么是 Hbase?
1.4、什么是 Hive
1.5、什么是 Spark?
2、环境准备
2.1、网络配置
2.2、更改 HOSTNAME
2.3、配置 SSH 免密码登录登录
2.4、关闭防火墙
2.7、安装 NTP
3. 下载应用程序及配置环境变量
3.1、创建安装目录
3.2、下载本文中用到的程序
3.3、设置环境变量
4. 安装 Oracle JDK 1.8.0
4.1 下载 Oracle JDK 1.8.0
4.2、配置 Oracle JDK 1.8.0
5、安装 Zookeeper3.4.13
5.1、修改配置文件 zoo.cfg
5.2、为每台服务器创建身份标识
5.3、在所有节点中启动 zookeeper
5.4、查看zookeeper 运行状态
5.5、测试 Zookeeper 是否启动成功
6、安装 Hadoop3.1.2
6.1、修改 Hadoop 配置文件
6.1.1、修改配置文件 core-site.xml
6.1.2、修改配置文件 hdfs-site.xml
6.1.3、修改配置文件 mapred-site.xml
6.1.4、修改配置文件 capacity-scheduler.xml
6.1.5、修改配置文件 yarn-site.xml
6.1.6、编辑 start-dfs.sh，stop-dfs.sh 脚本
6.1.7、编辑 start-yarn.sh，stop-yarn.sh 脚本
6.1.8、修改配置文件 works 文件
6.2、启动 Hadoop
6.2.1、启动JournalNode集群
6.2.2、格式化 NameNode
6.2.3、启动 zookeeper 故障转移控制器
6.2.4、格式化 zookeeper
6.2.5、启动 NameNode
6.2.6、将 NameNode 数据复制到备用 NameNode
6.2.7、启动 HDFS 进程
6.2.8、测试 HDFS 是否可用
6.2.9、启动 YARN
6.2.10、测试 YARN 的可用性
6.2.11、查看 MapReduce 运行的历史记录
6.2.12、验证 Hadoop HA 高可用性
7、安装 Hbase 1.4.9
7.1、修改 Hbase 配置文件
7.1.1、编辑配置文件 hbase-env.sh
7.1.2、编辑配置文件 hbase-site.xml
7.1.3、配置 Slaver
7.1.4、将 Hbase 复制到其他机器
7.2、启动 Hbase
7.2.1、用 Shell 测试连接 Hbase
7.2.2、测试 Hbase 故障转移
8、安装 Mysql 5.7
8.1、启动 Mysql
8.2、授权可以远程访问 Mysql
8.3、修改 Mysql 授权远程访问
9、安装 Hive2.3.4
9.1、修改 Hive配置文件
9.1.1、编辑配置文件 hive-env.sh
9.1.2、编辑配置文件 hive-site.xml
9.1.3、下载 Mysql 驱动
9.2、启动 Hive
9.2.1、初始化 MySql 数据库
9.2.2、创建测试数据，以及在hadoop上创建数据仓库目录
9.2.3、用 Shell 测试连接 Hive
9.2.4、Hive to Hbase
9.2.5、Hbase to Hive
10、安装 Spark 2.4.0
10.1、修改 Spark 配置文件
10.1.1、编辑配置文件 spark-env.sh
10.1.2、编辑配置文件 Slaves
10.2、启动spark集群
10.2.1、将 Spark 和 Scala 复制到其他机器
10.2.2、启动 Spark
10.2.3、测试 Spark 集群
10.2.4、运行 Spark on YARN
11、常见问题
11.1、Hbase
11.1.1、You have version null and I want version 8. Is your hbase.rootdir valid? If so, you may need to run 'hbase hbck -fixVersionFile'
12. 参考资料

以下操作可在wsl中进行

1. 同步索引信息

• mysql 8

1
2
3

mkdir -p mysql8/repodata
cd mysql8/repodata
lftp "https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql80-community-el7/repodata/" -e "mirror --verbose -P 5 --delete --only-missing; bye"

• mysql 5.7

  1 2 3

  mkdir -p mysql57/repodata cd mysql57/repodata lftp "https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql57-community-el7/repodata/" -e "mirror --verbose -P 5 --delete --only-missing; bye"

2. 获取最新的版本号

• mysql 8

1

mysql8_version=$(lftp https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql80-community-el7/ -e "cls;bye" | grep -e "mysql-community-client.*.el7.x86_64.rpm" | sed -r 's/mysql-community-client-(.*).el7.x86_64.rpm/\1/g' | sort -rV |  xargs | awk -F ' ' '{print $1}')

• mysql 5.7

1

mysql57_version=$(lftp https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql57-community-el7/ -e "cls;bye" | grep -e "mysql-community-client.*.el7.x86_64.rpm" | sed -r 's/mysql-community-client-(.*).el7.x86_64.rpm/\1/g' | sort -rV |  xargs | awk -F ' ' '{print $1}')

效果：

每日歌曲推荐

1. 安装Tampermonkey扩展

Tampermonkey

2. 新建脚本

3. 将如下代码粘贴至编辑器内，按Ctrl+S保存，或者直接在Greasy Fork安装我发布的脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

// ==UserScript==
// @name         网易云音乐显示评论数
// @version      1.0
// @namespace    https://greasyfork.org/zh-CN/users/297892
// @description  网易云音乐每日歌曲推荐界面显示评论数
// @author       移影残风
// @match        http*://music.163.com/*
// @require      https://cdn.bootcss.com/jquery/3.3.1/jquery.min.js
// @grant        none
// ==/UserScript==

(function () {
    'use strict';
    window.onload = function () {
        console.log('网易云音乐每日歌曲推荐界面显示评论数')
        //console.log('iframe:' + $("iframe")[0].contentWindow.$(".txt:eq(2) a").attr('href').split('id=')[1])
        //console.log('iframe:' + $("iframe")[0].contentWindow.$(".txt:eq(2) a b").attr('title'))
        $("iframe")[0].contentWindow.$("thead tr").append('<th><div style="padding: 8px 10px;">评论数</div></th>')

        for (let i = 0; i <= 29; i++) {
            let selector = ".txt:eq(" + i + ") a";
            let musicId = $("iframe")[0].contentWindow.$(selector).attr('href').split('id=')[1]
            let selector2 = ".txt:eq(" + i + ")";
            let url = "https://music.163.com/api/v1/resource/comments/R_SO_4_" + musicId + "?limit=20&offset=0";
            $.get(url, function (data) {
                let jsonObj = JSON.parse(data);
                let commentCount = jsonObj.total;
                $("iframe")[0].contentWindow.$(selector2).parents("tr").append('<td class=""><div class="f-cb"><div class="tt"><div class="ttc"><span>'+commentCount+'</span></div></div></div></td>')

            })
        }
    }
})();

直接点安装即可