Hadoop集群安装

hadoop集群安装

centos6.5安装

  • （略）

环境要求

  • linux环境3台（一主两副）可上网

###安装步骤

安装JDK

  • 添加虚拟机本机文件目录共享
  • 启动虚拟机，进入虚拟机机器开始配置安装
  • 共享文件目录：/mnt/hgfs
  • 安装jdk
    1
    2
    3
    cp jdk-6u45-linux-x64.bin /usr/local/src/
    cd /usr/local/src
    ./jdk-6u45-linux-x64.bin ##执行安装 ，看到done表示安装完成
  • 配置jdk环境变量
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    ## 编辑环境变量
    vi ~/.bashrc

    ## 文件末尾加入
    export JAVA_HOME=/usr/local/src/jdk1.6.0_45
    export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
    export PATH=$PATH:$JAVA_HOME/bin

    ## 执行加载配置
    source ~/.bashrc
  • 同理安装剩下两台配置环境变量

安装hadoop

  • 复制hadoop文件到/usr/local/src
  • 解压文件tar -zxvf hadoop-1.2.1-bin.tar.gz
    1
    2
    cd hadoop-1.2.1
    mkdir tmp
  • 配置
    1
    cd conf/
  • 配置mastervi masters
    1
    master
  • 配置slavesvi slaves
    1
    2
    slave1
    slave2
  • vi core-site.xml
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <!-- Put site-specific property overrides in this file. -->

    <configuration>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/usr/local/src/hadoop-1.2.1/tmp</value>
            </property>
            <property>
                    <name>fs.default.name</name>
                    <value>hdfs://192.168.122.10:9000</value>
            </property>
    </configuration>

  • vi mapred-site.xml
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <!-- Put site-specific property overrides in this file. -->

    <configuration>
       <property>
            <name>mapred.job.tracker</name>
            <value>http://192.168.122.10:9001</value>
       </property>
    </configuration>
  • vi hdfs-site.xml
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <!-- Put site-specific property overrides in this file. -->

    <configuration>
       <property>
            <name>dfs.replication</name>
            <value>3</value>
       </property>
    </configuration>
  • vi hadoop-env.sh
    1
    2
    ### 末尾添加
    export JAVA_HOME=/usr/local/src/jdk1.6.0_45
  • 配置本机hosts映射 vi /etc/hosts
    1
    2
    3
    192.168.122.10 master
    192.168.122.11 slave1
    192.168.122.12 slave2
  • 配置永久生效hostnamevi /etc/sysconfig/network
    1
    2
    ORKING=yes
    HOSTNAME=master
  • 拷贝当前hadoop文件目录到副节点
    1
    2
    scp -r  hadoop-1.2.1 root@slave1:/usr/local/src/
    scp -r  hadoop-1.2.1 root@slave2:/usr/local/src/
  • 副节点需配置项目
    • hosts文件ip映射
    • hostname配置
    • 本地测试建议关掉防火墙 
      1
      2
      3
      service iptables stop  ##关闭
      chkconfig iptables off ## 禁止开机启动
      service iptables status  ## 查看防火墙运行状态
    • 配置ssh免密码登录
    • 配置jdk
    • 配置hadoop

测试hadoop安装是否成功

  • 格式化: ./hadoop namenode -format
  • 启动集群： ./start-all.sh
  • 插件进程: jps
  • 查看集群fs目录文件 ./hadoop fs -ls /
  • 上传文件测试 ./hadoop fs -put /etc/hosts /
  • 再查看一下目录文件 ./hadoop fs -ls /
  • 查看集群文件 ./hadoop fs cat /hosts