1、简介

        公司用hadoop来处理海量的日志数据，从而分析出用户新增留存信息。

2、环境配置

        Master（2U1G10G）、Slave（2U1G10G）

        Java version 1.8.0_11

        CentOS release 6.9 64位 【hadoop要求64位系统】

        VMware® Workstation 12 Pro

3、搭建注意要点

1. 每台机器设置的用户名需要保持一致，如hadoop@master、hadoop@slave

2. 主机名不能包含点、斜杆、下划线等特殊字符，可以使用中横线，如hadoop@hadoop-master

3. 机器需要安装glibc2.14版本，查看自己的glibc版本

4. Hadoop启动报Error: JAVA_HOME is not set and could not be found解决办法

5.  开启debug模式：export HADOOP_ROOT_LOGGER=DEBUG,console开启debug模式有利于排查问题

6. master机器要开放指定的网络端口（50070），iptables -I INPUT -p tcp --dport 50070 -j ACCEPT

4、搭建流程

    搭建流程可参考：    https://www.cnblogs.com/pu20065226/p/8464156.html

    文章的是centos7的系统，安装过程跟centos6不同的地方有防火墙的设置，centos7用的是

    firewall-cmd，centos6用的是iptables

来自ansion博客 

http://www.tp0.top

2019-09-03 15:22:18