Linux下的怎么安装Hadoop

1.安装SSH

yum install openssh-server

OpenSSH是Secure Shell的一个开源实现,OpenSSH  Server安装完成后在/etc/init.d目录下应该会增加一个名为sshd的服务,把生成的密钥放到指定位置，然后用来当作之后的身份验证。

2.安装 rsync

yum -y install rsync

3.产生 SSH 密钥之后继续进行后续的身份验证

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

4.把产生的密钥放入许可文件中

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

安装Hadoop

安装 Hadoop 之前我们要先把 JDK 安装好，配置好环境变量，出现下面这个样子，就说明 JDK 已经安装完成了。

1.解压Hadoop

我们先要把 Hadoop 放到我们的服务器上，就像阿粉这个样子，

然后解压 tar zxvf hadoop-3.3.1.tar.gz

2.修改bashrc文件

vim ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbinexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

复制到文件中保存退出

3.生效文件

source ~/.bashrc

4.修改配置文件 etc/hadoop/core-site.xml

 fs.defaultFShdfs://localhost:9000hadoop.tmp.dir/app/hadooptemp

5.修改 etc/hadoop/hdfs-site.xml

 dfs.replication1dfs.http.address0.0.0.0:9870

6.修改 etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64

7.修改etc/hadoop/yarn-env.sh文件

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64

8.修改sbin/stop-dfs.sh文件，在顶部增加

HDFS_NAMENODE_USER=rootHDFS_DATANODE_USER=rootHDFS_SECONDARYNAMENODE_USER=rootYARN_RESOURCEMANAGER_USER=rootYARN_NODEMANAGER_USER=root

9-1.修改start-yarn.sh 文件

YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root

9-2.修改stop-yarn.sh文件

YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root

上面的这些命令主要是用于当你启动 Hadoop 的时候，会提示认证不通过。

10.格式化，进入hadoop的bin文件夹，执行下面的命令

./hdfs namenode -format

11.进入sbin文件夹，启动hadoop

./start-dfs.sh

也可以直接全部启动 ./start-all.sh

然后直接访问8088端口即可

12.防火墙开启端口,如果用的云服务器，请将9870端口加入安全组出入口

//添加9870端口到防火墙 firewall-cmd --zone=public --add-port=9870/tcp --permanent 
//重启防火墙 firewall-cmd --reload

13.输入 jps 如果是如果是4个或者5个就配置成功，再继续

通过web访问hadoop，访问地址：http://IP地址:9870