博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop2.7.3在centos7安装部署(单机版)
阅读量:6402 次
发布时间:2019-06-23

本文共 3107 字,大约阅读时间需要 10 分钟。

一.centos7.0安装jdk 

      1.下载linux版本的jdk,下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

       2. 上传到centos下的/usr/local/src目录下

       3.把jdk解压到/usr/local目录下. 

                   进入jdk所在目录   cd /usr/local/src

                  使用命令 tar -zxvf jdk-8u172-linux-i586.tar.gz 

                  把改目录下解压的jdk移植到/usr/local下    mv jdk1.8.0_172/  ../

       4.配置jdk的环境命令如下 

             1.编辑etc/profile 

                vi /etc/profile

             2.添加如下内容  

                export JAVA_HOME=/usr/local/jdk1.8.0_172

                export CLASSPATH=$JAVA_HOME/lib

                export PATH=$JAVA_HOME/bin:$PATH

            3.更新etc/profile文件

                source /etc/profile

            4.输入java 和javac验证是否安装成功.

 

二.Hadoop2.7.3的安装

        0.准备工作

           0.1 修改主机名: vi /etc/hostname

           0.2 修改主机名与ip的映射

使用 vi 编辑器打开 /etc/hosts 文件# vi /etc/hosts在文件尾部添加内容,格式:IP地址 主机名(中间用空格分隔),保存退出192.168.242.130 Master设置完成后,重启网路服务# systemctl restart network使用 ping 命令 ping 主机名# ping Master

               0.3 配置ssh免密登录

#生成ssh免密登录的密钥Ssh-keygen -t rsa(四个回车)执行完这个命令后,会生成id_rsa(私钥) .id_rsa.pub(公钥)将公钥拷贝到要免密登陆的目标机器上 ssh-copy-id master

               0.4配置防火墙

         

查看防火墙状态firewall-cmd --state•    1停止firewallsystemctl stop firewalld.service•    1禁止firewall开机启动systemctl disable firewalld.service

 

        1.下载hadoop2.7.3  下载地址: https://hadoop.apache.org/releases.html

        2.把下载的hadoop上传到centos下/usr/local/src下

        3.把上传的hadoop进行解压命令如下

             3.1  tar -zxvf hadoop-2.7.3.tar.gz

             3.2  mv hadoop-2.7.3 ../

        4.修改/usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 文件的java环境,将java安装路径加进去:

           命令如下:vi /usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

          修改内容如下:

            

       5.把hadoop添加到环境变量上

           vi /etc/profile

           export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

           export PATH=$PATH:$HADOOP_HOME/bin

           更新etc/profile文件

           source /etc/profile

      6.修改vi /usr/local/hadoop2.7.3/etc/hadoop/core-site.xml 文件,

        

fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/usr/hadoop/tmp

 

     7.修改vi /usr/local/hadoop2.7.3/etc/hadoop/hdfs-site.xml 

dfs.name.dir
/usr/hadoop/hdfs/name
namenode上存储hdfs名字空间元数据
dfs.data.dir
/usr/hadoop/hdfs/data
datanode上数据块的物理存储位置
dfs.replication
1

 

 

8.修改 mapred-site.xml

hadoop只有 mapred-site.xml.template没有mapred-site.xml,需要复制一个
 mv mapred-site.xml.template   mapred-site.xml
 vi   mapred-site.xml

     

         
                        
mapreduce.framework.name
                        
yarn
        

9.修改yarn-site.xml

yarn.resourcemanager.hostname
ykq4
   
     
yarn.nodemanager.aux-services
mapreduce_shuffle
      

10.预格式化namenode

hadoop  namenode -format

11.启动

启动 HDFS

start-dfs.sh

启动YARN

start-yarn.sh

验证是否启动成功

[root@zhiyou01 sbin]# jps3297 NodeManager2866 SecondaryNameNode2596 NameNode3017 ResourceManager2714 DataNode3404 Jps

 

 

 

 

 

            

 

    

转载于:https://www.cnblogs.com/tony-hyn/p/9703756.html

你可能感兴趣的文章
无人驾驶入门(基本流程)
查看>>
CentOS安装Tomcat
查看>>
[转]innodb的锁时间
查看>>
deeplearning4j——卷积神经网络对验证码进行识别
查看>>
C#获取一个实体类的属性名称、属性值
查看>>
[转]创建一个JavaScript弹出DIV窗口层的效果
查看>>
Hash表
查看>>
通过CLR API实现C++调用C#代码交互
查看>>
织梦添加模块之占位
查看>>
管理之道(十二) - 让员工随时看到工作成果
查看>>
转 python selenium 常见问题列表
查看>>
Html5 の 微信飞机大战
查看>>
实现winform DataGridView控件判断滚动条是否滚动到当前已加载的数据行底部
查看>>
maven安装及maven项目导入流程
查看>>
iOS版本的Google Earth发布了5个3D城市图形
查看>>
属性页面Flexbox布局的简单演示之二
查看>>
如何在Windows上配置EBS R12.1.3的OAF开发环境
查看>>
WPF 如何加载图片
查看>>
openldap---ldapsearch使用
查看>>
Leetcode: Palindrome Partitioning II
查看>>