Hadoop集群配置、格式化文件系统
以下为《Hadoop集群配置、格式化文件系统》的无排版文字预览，完整内容请下载
5.Hadoop集群配置
5.1 haoop集群主要配置文件
配置文件
功能描述
hadoop-env.sh
配置Hadoop运行所需的环境变量??
yarn-env.sh
配置Yarn运行所需的环境变量
core-site.xml
Hadoop核心全局配置文件，可在其他配置文件中引用
hdfs-site.xml
HDFS配置文件，继承core-site.xml配置文件
mapred-site.xml
MapReduce配置文件，继承core-site.xml配置文件
yarn-site.xml
Yarn配置文件，继承core-site.xml配置文件
5.2 修改hadoop-env.sh文件
使用命令：cd etc/hadoop并查看该目录下所有配置文件，找到hadoop-env.sh并打开，使用命令：vi hadoop-env.sh
/
找到关于java路径的配置，修改信息如下：
export JAVA_HOME=/export/servers/jdk
/
5.3 修改core-site.xml文件
使用命令：vi core-site.xml打开该文件，这是Hadoop核心配置文件，我们需要配置两个参数：1）整个Hadoop集群文件系统类型是HDFS，文件的主节点在hadoop01这个主机上，访问端口是：9000 2）Hadoop历史文件存储目录
内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。 置整个集群的从节点，包括hdfs从节点和yarn从节点，具体如下。
使用命令：vi slaves打开该文件，默认是localhost，删除并进行如下修改：
/
5.8 将集群主节点的配置文件分发到其他子节点
我们目前只在hadoop01上修改了上述配置文件，我们要搭建3台主机。所以要分发给另外两个主机。如果不分发，还需要在hadoop02、hadoop03重复5.2-5.7操作。
使用命令：scp /etc/profile hadoop02:/etc/profile 如图所示：
/
同理，给hadoop03也分发一下，使用命令：scp /etc/profile hadoop03:/etc/profile 如图所示：
/
把hadoop01的export目录分发给hadoop02根目录，使用命令：scp -r /export/ hadoop02:/整个过程需要几分钟，如图所示：
/
同理，把hadoop01的export目录分发给hadoop03根目录，使用命令：scp -r /export/ hadoop03:/整个过程需要几分钟，如图所示：
/
在hadoop02和hadoop03上执行source /etc/profile使得文件生效，如下图所示。
//
6.格式化文件系统
初次启动HDFS集群时，必须对主节点进行格式化处理。格式化文件系统指令如下：hdfs namenode -format如图所示：
/
[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。
- hadoop复习
- 培优练习--电学(3)
- linux介绍
- 届XX省普通高等学校招生适应性考试物理试题（解析版） - 副本
- XX九年级（上）期中物理试卷
- *_**学 - 学年度第一学期期末测试卷七年级数学 解析版
- 机械效率复习某某
- 中考数学模拟试题
- 04月27日xx学校高中化学试卷
- HWG3 U1 Test
- OPS Training 注释篇
- 第五节 法拉第电磁感应定律的应用
- **_*考物理一模试卷(2)
以上为《Hadoop集群配置、格式化文件系统》的无排版文字预览，完整内容请下载
Hadoop集群配置、格式化文件系统由用户“qidaixia3221”分享发布，转载请注明出处