Hadoop学习(2)-伪分布式配置

总是在笔记前,提醒自己,标明配置环境,重要细节不用怕麻烦,后期及时修改,做到准确可回溯。


环境说明

Windows 10 Pro

VMWare 12.5.5

Ubuntu 16.04.2 Server

server-jre-8u131-linux-x64

Hadoop架构

hadoop包含三个模块

1.Hadoop Common:

支持其他模块的工具模块

2.Hadoop Distributed File System (HDFS™):

分布式文件系统,提供了对应用程序数据的高吞吐量访问。

[进程]

  • NameNode // 名称节点 --NN
  • DataNode // 数据节点 --DN
  • SecondaryNamenode // 辅助名称节点 --2ndNN

3.Hadoop YARN:

yet another resource negotiate, 作业调度与集群资源管理的框架。

[进程]

  • ResourceManager //资源管理器--RM
  • NodeManager //节点管理器--NM

4.Hadoop MapReduce:

基于yarn系统的对大数据集进行并行处理技术。

配置Hadoop

1.Standalone/local

独立/本地模式,使用的本地文件系统。 nothing!!! 查看文件系统的方式:

没有启动任何java进程。 用于测试和开发环境.

2.Pseudodistributed mode

伪分布模式

[配置过程]

e.配置SSH

安全登录.

1)安装ssh

2)生成秘钥对

3)导入公钥数据到授权库中

如果下一步无法登录到localhost,需要查看你之前是不是已经配置过密钥,两个密钥间换行间隔。

4)登录到localhost

5)格式化hdfs文件系统

6)启动所有进程

image

7)查看进程

image

8)查看文件系统

9)创建文件系统

3.Fully distributed mode

完全分布式

有关hadoop进程处理

1.查看hadoop进程个数(5)

2.如果进程数不对,杀死所有进程

3.重新格式化系统

4.启动所有进程

5.jps

发布者

Jiaheng Tao

挖掘概念,创造工具

发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据