单机部署
单机部署模式介绍
-
单机(本地模式)是Hadoop的默认部署模式。
-
当配置文件为空时，Hadoop完全运行在本地。
-
不需要与其他节点交互，单机(本地模式)就不使用HDFS，也不加载任何Hadoop的守护进程。
-
该模式主要用于开发调试MapReduce程序的应用逻辑。
-
单机(本地模式)是Hadoop的默认部署模式。
-
当配置文件为空时，Hadoop完全运行在本地。
-
不需要与其他节点交互，单机(本地模式)就不使用HDFS，也不加载任何Hadoop的守护进程。
-
该模式主要用于开发调试MapReduce程序的应用逻辑。
1）上传相应的jar包
下载包的相应网址：
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
https://www.oracle.com/java/technologies/downloads/
[root@hadoop-stand-alone src]# ll
total 595432
-rw-r--r-- 1 root root 414624228 Nov 30 14:24 hadoop-2.10.2.tar.gz
-rw-r--r-- 1 root root 195094741 Oct 18 11:40 jdk-8u221-linux-x64.tar.gz
2）解压并配置环境
[root@hadoop-stand-alone src]# tar xf jdk-8u221-linux-x64.tar.gz
[root@hadoop-stand-alone src]# tar xf hadoop-2.10.2.tar.gz
[root@hadoop-stand-alone src]# mv jdk1.8.0_221 /usr/local/jdk
[root@hadoop-stand-alone src]# mkdir /apps/ -p
[root@hadoop-stand-alone src]# mv hadoop-2.10.2 /apps/hadoop
`添加环境变量`
[root@hadoop-stand-alone src]# vim /etc/profile
#最后面添加
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/apps/hadoop
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
`让配置文件生效`
[root@hadoop-stand-alone src]# source /etc/profile
`验证`
[root@hadoop-stand-alone src]# java -version
java version "1.8.0_221"
Java(TM) SE Runtime Environment (build 1.8.0_221-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.221-b11, mixed mode)
3）测试Hadoop是否可用
[root@hadoop-stand-alone ~]# mkdir input
`创建测试文件`
[root@hadoop-stand-alone ~]# vim input/test.txt
nihap
12333
123332
12333
192.168.139.33
192.168.139.33
192.168.139.31
`运行程序`
[root@hadoop-stand-alone ~]# hadoop jar /apps/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.2.jar wordcount /root/input/ /root/output
`检查是否成功`
[root@hadoop-stand-alone ~]# cat /root/output/part-r-00000
12333 2
123332 1
192.168.139.31 1
192.168.139.33 2
nihap 1
文章评论