xml地图|网站地图|网站标签 [设为首页] [加入收藏]

集群环境搭建

1、创建Hadoop用户【所有操作都是root,在所有master和slaver上】
1)、创建hadoop用户:adduser hadoop

一、基础配置

一、主机规划

2)、更换密码:passwd hadoop

2、安装jdk【所有操作都是root,在所有master和slaver上】
1)、将jdk.tar.gz解压到/et/local/:tar –zxvf jdk.tar.gz
2)、配置java环境变量,在/etc/profile中添加:
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=/usr/local/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin
3)、使环境变量有效:source /etc/profile

1、服务器分布及服务器名称

192.168.1.1  主名字节点 master
192.168.1.2  数据节点1  slave1
192.168.1.3  数据节点2  slave2

临时更改hostname的命令是(root权限):
hostname <newname>
永久更改需要修改配置文件/etc/sysconfig/network。

HOSTNAME=master

3台主机:1个master、2个slaver/worker

4)、测试jdk安装是否成功:java -version

3、免密码登陆
1)、进入hadoop的家目录:su – hadoop【root】
2)、创建空密码登陆,在家目录的.ssh文件夹下生成id_rsa和id_rsa.pub文件:ssh-keygen –t rsa –P ''【hadoop】
3)、把id_rsa.pub追加到授权key中[特别注意:如果没有修改hostname,将id_rsa.pub中的localhost修改为ip,否则在authorized_keys中全部是localhost]: cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys【hadoop】
4)、[特别注意]修改authorized_keys文件的权限为600:chmod 600 ~/.ssh/authorized_keys【hadoop】
5)、使用root用户修改/etc/ssh/sshd_config文件:【root】
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
6)、重启sshd:service sshd restart【root】
7)、验证是否hadoop能无密码登陆,使用hadoop用户:ssh localhost【hadoop,在slave机器上重复1-7】
8)、把master/slave的公钥scp到所有slave/master上:scp id_rsa.pub [email protected]:~/ 【hadoop】
9)、将master/slave的公钥追加到slave/master的authorized_keys中:cat id_rsa.pub>>.ssh/authorized_keys【hadoop】

2、hosts文件设置

在每台服务器的“/etc/hosts”文件,添加如下内容:

192.168.1.1   master
192.168.1.2   slave1
192.168.1.3   slave2

ip地址使用docker默认的分配地址:

10)、验证无密码登陆:ssh ip【hadoop】

4、安装hadoop【所有操作都是root,在master上】
1)、下载hadoop代码到/usr/local下:wget
2)、解压缩:tar –zxvf hadoop-2.0.0.tar.gz
3)、修改文件夹名称:mv hadoop-2.0.0 hadoop

3、SSH免密码登录

master和所有的slave之间,需要实现双向ssh无密码访问(slave和slave之间可以不用实现,为了简化步骤,在此也实现了slave和slave之间SSH免密码登陆)。

3.1 基础服务

需要两个服务:ssh和rsync,查询方法:

rpm –qa | grep openssh  

rpm –qa | grep rsync  

3.2 生成公钥私钥

执行命令:ssh-keygen –t rsa –P ''
这条命令生成其无密码密钥对,询问其保存路径时直接回车采用默认路径。生成的密钥对:id_rsa和id_rsa.pub,默认存储在"~/.ssh"目录下,包括两个文件,id_rsa和id_rsa.pub,分别为私钥和公钥。

3.3 写入信任文件

执行如下命令,将公钥写入信任文件中:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  

然后修改authorized_keys文件的权限:

chmod 600 ~/.ssh/authorized_keys  

3.4 配置sshd服务

用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容:

RSAAuthentication yes # 启用 RSA 认证  

PubkeyAuthentication yes # 启用公钥私钥配对认证方式  

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)  

设置完之后记得重启SSH服务,才能使刚才设置有效:

service sshd restart  

3.5 归档信任文件

将所有authorized_keys文件内容组合成一份authorized_keys文件,然后替换每台服务器上原有的authorized_keys文件。

验证配置是否成功,使用普通用户,执行如下命令:

ssh <hostname>

如果执行成功,则说明配置成功。

master:

4)、修改权限:chown -R hadoop:hadoop hadoop

5、配置hadoop【在master上】
1)、创建存储临时文件temp、data和name节点数据的目录【hadoop】:
mkdir /usr/local/hadoop/temp
mkdir /usr/local/hadoop/dfs/data
mkdir /usr/local/hadoop/dfs/name
2)、配置/usr/local/hadoop/etc/hadoop/core-site.xml:【hadoop】
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master域名或者master的ip:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/temp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.hduser.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hduser.groups</name>
<value>*</value>
</property>
</configuration>
3)、配置hdfs-site.xml:【hadoop】
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master域名或者master的ip:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
4)、生成mapred-site.xml文件:cp mapred-site.xml.template mapred-site.xml【hadoop】
5)、配置mapred-site.xml:【hadoop】
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master域名或者master的ip:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master域名或者master的ip:19888</value>
</property>
</configuration>
6)、配置yarn-site.xml:【hadoop】
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master域名或者master的ip:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master域名或者master的ip:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master域名或者master的ip:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master域名或者master的ip:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master域名或者master的ip:8088</value>
</property>
</configuration>
7)、配置slaves文件:将slaver的ip直接放里面,一行一个【hadoop】
8)、将/usr/loca/的整个hadoop目录scp到其他服务器的/usr/local下
9)、在所有机器上配置hadoop的系统环境变量:
export HADOOP_HOME=/usr/local/hadoop
export PATH=/usr/local/php/bin:/usr/local/sublime:$JAVA_HOME/bin:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:$HADOOP_HOME/bin
10)、如果使用的是域名,需要在所有机器上修改hostname和hosts【root】
hostname修改:/etc/sysconfig/network,HOSTNAME=域名

hosts修改:/etc/hosts,ip 域名

11)、关闭所有机器的防火墙:【root】

chkconfig iptables off

====================================================================================
6、启动并验证hadoop集群【在master服务器上,hadoop用户】
1)、格式化namenode【特别注意是hadoop命令,不是hdfs命令,高版本用hdfs命令可能格式化不成功】: hadoop namenode -format
2)、启动hdfs:sh /usr/local/hadoop/sbin/start-dfs.sh
3)、启动yarn:sh /usr/local/hadoop/sbin/start-yarn.sh
4)、验证:jps命令,看需要的服务启动起来没有

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式 伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

1)、创建hadoop用户:adduser hadoop 2)、更换密码:passwd hadoop ============================...

二、Hadoop编译安装

主机名: Hadoop2、ip地址: 172.17.0.2

1、jdk下载安装

tar -xvzf jdk-8u121-linux-x64.gz -C /usr/local
cd /usr/local
vi /etc/profile

添加:

export JAVA_HOME=/usr/local/jdk1.8.0_121

export CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin

slaver1:

2、hadoop下载安装

tar -xvzf hadoop-2.7.3.tar.gz -C /usr/local

cd /usr/local

mv hadoop-2.7.3 hadoop

(重命名为hadoop)

cd hadoop

mkdir tmp

vi /etc/profile

添加:

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

2.1 配置hadoop-env.sh

文件在/usr/local/hadoop/etc/hadoop目录下

vi hadoop-env.sh

添加:

export JAVA_HOME=/usr/local/jdk1.8.0_121

export CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

2.2 配置core-site.xml文件

文件在/usr/local/hadoop/etc/hadoop目录下,修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号。

vi /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

<property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:8082</value>

    </property>

</configuration>

2.3 配置hdfs-site.xml文件

文件在/usr/local/hadoop/etc/hadoop目录下,修改Hadoop中HDFS的配置,配置的备份方式默认为3。

<configuration>

<property>

        <name>dfs.replication</name>

        <value>2</value>

</property>

        <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/name</value>

        </property>

        <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/data</value>

        </property>

</configuration>

2.4 配置mapred-env.xml文件

    export JAVA_HOME=/usr/local/jdk1.8.0_121

2.5 配置mapred-site.xml文件

修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口。

cp mapred-site.xml.template mapred-site.xml

 

<configuration>

<property>

        <name>mapred.job.tracker</name>

        <value>;

    </property>

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

2.6 配置yarn-env.xml文件

    export JAVA_HOME=/usr/local/jdk1.8.0_121

2.7 配置yarn-site.xml文件

<configuration>

 

<必威,!-- Site specific YARN configuration properties -->

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

        <property>

                <name>yarn.resourcemanager.webapp.address</name>

                <value>master:8088</value>

         </property>

        <property>

                <name>yarn.log-aggregation-enable</name>

                <value>true</value>

        </property>

        <property>

                <name>yarn.log-aggregation.retain-seconds</name>

                <value>640800</value>

        </property>

 

</configuration>

2.8配置slaves,添加

   master

   slave1

   slave2

 

2.9 将配置好的hadoop文件拷到各个服务器相应目录

2.10 执行hadoop

所有节点需要关闭防火墙:

/bin/systemctl stop firewalld

(启用防火墙命令是:systemctl mask firewalld)

在主节点上执行,启动集群

cd /usr/local/hadoop

(切换至hadoop目录)
hdfs namenode -format

(格式化hdfs)
sbin/start-dfs.sh

(启动hdfs)

检查进程是否正常启动:jps

hdfs信息查看:
hdfs dfsadmin -report
或hdfs fsck / -files -blocks

集群的后续维护(关闭/启动所有):
sbin/start-all.sh
sbin/stop-all.sh

访问:http://192.168.1.1 :50070/

(关闭防火墙才能访问)

主机名: hadoop3、ip地址: 172.17.0.3

主机名: hadoop4、ip地址: 172.17.0.4

二、软件安装

1、在docker中安装CentOS镜像,并启动centos容器,安装ssh。--详见"docker上安装centos镜像"一文。

2、通过ssh连接到centos容器,安装jdk1.8、hadoop3.0

可以按照传统linux安装软件的方法,通过将jdk和hadoop的tar包上传到主机进行安装。

获取centos7镜像

$ docker pull centos

大概是70多M,使用阿里云等Docker加速器的话很快就能下载完,之后在镜像列表中就可以看到

查看镜像列表的命令:

$ docker images

安装SSH

以centos7镜像为基础,构建一个带有SSH功能的centos

$ vi Dockerfile

内容:

FROM centos
MAINTAINER linuxidc@linuxidc.com

RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum  install -y openssh-clients

RUN echo "root:abc123" | chpasswd
RUN echo "root  ALL=(ALL)      ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]

这段内容的大意是:以 centos 镜像为基础,安装SSH的相关包,设置了root用户的密码为 abc123,并启动SSH服务

执行构建镜像的命令,新镜像命名为 centos7-ssh

$ docker build -t="centos7-ssh" .

执行完成后,可以在镜像列表中看到

$ docker images

构建Hadoop镜像

上面是运行了3个centos容器,需要在每个容器中单独安装Hadoop环境,我们可以像构建SSH镜像一样,构建一个Hadoop镜像,然后运行3个Hadoop容器,这样就更简单了

$ vi Dockerfile

内容:

FROM centos7-ssh
ADD jdk-8u151-linux-x64.tar.gz /usr/local/
RUN mv /usr/local/jdk1.8.0_151 /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH

ADD hadoop-3.1.0.tar.gz /usr/local
RUN mv /usr/local/hadoop-3.1.0 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

RUN yum install -y which sudo

这里是基于 centos7-ssh 这个镜像,把 JAVA 和 Hadoop 的环境都配置好了

前提:在Dockerfile所在目录下准备好 jdk-8u101-linux-x64.tar.gz 与 hadoop-2.7.3.tar.gz

执行构建命令,新镜像命名为 hadoop

$ docker build -t="hadoop" .

在/etc/hosts文件中添加3台主机的主机名和ip地址对应信息

172.17.0.2      hadoop2
172.17.0.3      hadoop3
172.17.0.4      hadoop4

在docker中直接修改/etc/hosts文件,在重启容器后会被重置、覆盖。因此需要通过容器启动脚本docker run的--add-host参数将主机和ip地址的对应关系传入,容器在启动后会写入hosts文件中。如:

docker run --name hadoop2--add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 hadoop

docker exec -it hadoop2 bash

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

hadoop部署

1.在workers文件中定义工作节点

在hadoop根目录下的etc/hadoop目录下新建workers文件,并添加工作节点主机信息。

按照步骤一中的主机规划,工作节点主机为hadoop3和hadoop4两台主机。如:

[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/workers
hadoop3
hadoop4

2、修改配置文件信息

a、在hadoop-env.sh中,添加JAVA_HOME信息

[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/hadoop-env.sh |grep JAVA_HOME
#  JAVA_HOME=/usr/java/testing hdfs dfs -ls
# Technically, the only required environment variable is JAVA_HOME.
# export JAVA_HOME=
JAVA_HOME=/usr/local/jdk1.8

b、core-site.xml

configuration><property>
<name>fs.default.name</name>
<value>hdfs://hadoop2:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>

c、hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop2:9001</value>
<description># 通过web界面来查看HDFS状态 </description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description># 每个Block有2个备份</description>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

d、yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop2:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop2:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop2:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop2:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop2:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>

e、mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2:19888</value>
</property>
</configuration>

f、为防止进坑提前做好准备

vi start-dfs.sh  vi stop-dfs.sh

HDFS_DATANODE_USER=root
#HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs

vi start-yarn.sh  vi stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

注意:

以上步骤完成以后停止当前容器,并使用docker命令保持到一个新的镜像。使用新的镜像重新启动集群,这样集群每台机器都有相同的账户、配置和软件,无需再重新配置。如:

a、停止容器

docker stop hadoop2

b、保存镜像

docker commit hadoop2 hadoop_me:v1.0

测试

1、端口映射

集群启动后,需要通过web界面观察集群的运行情况,因此需要将容器的端口映射到宿主主机的端口上,可以通过docker run命令的-p选项完成。比如:

将yarn任务调度端口映射到宿主主机8088端口上:

docker run -it -p 8088:8088 hadoop_me:v1.0

2、从新镜像启动3个容器

docker run --name hadoop2 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5002:22 -p 9870:9870 -p 8088:8088 -p 19888:19888
hadoop_me:v1.0

docker run --name hadoop3 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5003:22 hadoop_me:v1.0

docker run --name hadoop4 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5004:22 hadoop_me:v1.0

3.格式化
进入到/usr/local/hadoop目录下
执行格式化命令

bin/hdfs namenode -format

修改hadoop2中hadoop的一个配置文件etc/hadoop/slaves
删除原来的所有内容,修改为如下

hadoop3
hadoop4

在hadoop2中执行命令

 scp  -rq /usr/local/hadoop  hadoop3:/usr/local
 scp  -rq /usr/local/hadoop  hadoop4:/usr/local

4.在master主机上执行start-all.sh脚本启动集群

5.通过web页面访问

必威 1

必威 2

 

 

 

必威 3

Hadoop2.3-HA高可用集群环境搭建 
Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署 
CentOS 7.4下Hadoop 2.7.6安装部署
Hadoop2.7.2集群搭建详解(高可用) 
使用Ambari来部署Hadoop集群(搭建内网HDP源) 
Ubuntu 14.04下Hadoop集群安装 
CentOS 6.7安装Hadoop 2.7.2 
Ubuntu 16.04上构建分布式Hadoop-2.7.3集群 
CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建 
Hadoop2.7.3 Spark2.1.0完全分布式集群搭建过程 
CentOS 7.4下编译安装Hadoop 2.7.6 及所需文件 
Ubuntu 16.04.3 下安装配置 Hadoop

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

Linux公社的RSS地址:

本文永久更新链接地址

必威 4

本文由必威发布于操作系统,转载请注明出处:集群环境搭建