盛日辉的博客
0%

Hadoop-配置（极简版）

发表于 更新于 分类于

模板虚拟机环境准备

VMware安装

Xfpt与Xshell安装

电脑虚拟化准备好

硬件

  • cpu、内存根据自己电脑改；
  • 网络用NAT模式；
  • 硬盘尽量大（50GB或40GB）；
  • 其他默认。

    软件

  • 软件选择：最小安装/GNOME桌面
  • 安装位置：
    • 我要配置分区->完成；
    • 添加/boot分区，是系统启动时需要的内存，1G，修改文件类型为ext4;
    • 添加swap分区，是内存不够时用硬盘冒充内存，4G;
    • 添加/根目录，剩余所有空间。
  • 关闭KDUMP。这是假如系统崩了，备份用的一块区域，学习阶段不开。
  • 打开以太网，设置主机名为`hadoop100’。
  • 默认安全策略。
  • 开始安装。
  • 设置简单的root密码。
  • 重启。
  • 重启后，创建个普通用户，其他默认走就行。

网络配置

VM网络设置
Windows设置
CentOS设置
  1. 切到root用户 su root，输入密码；
  2. vim /etc/sysconfig/network-scripts/ifcfg-ens33进入网络配置的文件；
  3. 将BOOTPROTO="dhcp"修改为BOOTPROTO="static"，也就是设置静态IP；
  4. 在最后增加：
    IPADDR=192.168.100.100
    GATEWAY=192.168.100.2
    DNS1=192.168.100.2
    分别是IP地址，网关，域名。
  5. 修改主机名：vim /etc/hostname，写上主机名。
  6. 配置主机名称映射：vim /etc/hosts，在后面假如：
    192.168.100.100 hadoop100
    192.168.100.101 hadoop101
    192.168.100.102 hadoop102
    192.168.100.103 hadoop103
    192.168.100.104 hadoop104
    192.168.100.105 hadoop105
    192.168.100.106 hadoop106
    192.168.100.107 hadoop107
    192.168.100.108 hadoop108
  7. reboot命令重启。
  8. 以root权限登录。
  9. 检查ip地址与主机名是否配置好：
    1. ifconfig命令查看IP地址；
    2. ping www.baidu.com看能否ping成功。
    3. hostname查看主机名。

      用Xshell进行远程链接

  10. 用Xshell链接
  11. 主机映射

    安装一些包和关闭防火墙和一些其他设置

  12. yum install -y epel-release提供需要的包
  13. yum install -y net-tools网络
  15. systemctl stop firewalld关闭防火墙
  16. systemctl disable firewalld.service开机时关闭防火墙
  17. 给永辉root权限

克隆虚拟机

在hadoop102上安装jdk和环境配置

在hadoop102上安装hadoop和环境配置

本地运行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done