加载《1实验一 Hadoop分布式系统集群搭建》成功,点击此处阅读
首页 →文档下载

1实验一 Hadoop分布式系统集群搭建

以下为《1实验一 Hadoop分布式系统集群搭建》的无排版文字预览,完整内容请下载

福建农林大学计算机与***实验报告

系:

计算机系

年级专业:

18计某某(应用方向)

实验课程:

Hadoop分布式系统架构



姓名:

杨某某

学号:

***28

实验室:

田313



实验时间:

2021.04.12

指导教师:

王某某

成绩:





实验一 Hadoop分布式集群搭建

一、实验目的

1. 熟悉虚拟机的安装;

2. 熟悉Ubantu的安装;

3. 熟悉Hadoop伪分布式环境的搭建。

二、实验环境

操作系统:Windows

虚拟机软件:VMware Workstation 或VirtualBox

分布式软件:Hadoop,JDK,Eclipse

实验内容和要求

请根据操作步骤搭建Hadoop伪分布式环境。

1、准备工作

1)创建hadoop用户

(首先按?ctrl+alt+t?打开终端窗口,输入如下命令创建新用户 :

/

(接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次***假设***;1”)

/

注意:

在Linux的终端中输入密码,终端是不会显示任何你当前输入的密码,也不会提示你已经输入了多少字符***系统中,输入密码一般都会以“*”表示你输入的密码字符。



(可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:

/

(最后注销当前用户(点击屏幕右上角的齿轮,选择注销),返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。

2)更新apt

用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。打开终端窗口,执行如下命令:

/

3)安装vim

后续需要更改一些配置文件,我比较喜欢用的是 vim(vi增强版,基本用法相同),建议安装一下(如果你实在还不会用 vi/vim 的,请将后面用到 vim 的地方改为 gedit,这样可以使用文本编辑器进行修改,并且每次文件更改完成后请关闭整个 gedit 程序,否则会占用终端):

/

安装软件时若需要确认,在提示处输入 y 即可。

/

4)安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:

/

安装后,可以使用如下命令登陆本机:

/

此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码(即前面创建的hadoop用户的密码,本实验假设***;1”),这样就登陆到本机了。

/

SSH首次登陆提示

但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

/

此时再用?ssh localhost?命令,无需输入密码就可以直接登陆了,如下图所示。

/

5)在ubuntu根目录下创建一个“Downloads”文件夹,把老师给的所有相关安装软件拷入此文件夹中。

2、安装Java环境

1)解压

手动安装,推荐采用本方式

Hadoop3.1.3需要JDK版本在1.8及以上。需要按照下面步骤来自己手动安装JDK1.8。

/

JDK文件解压缩以后,可以执行如下命令到/usr/lib/jvm目录查看一下:

/

可以看到,在/usr/lib/jvm目录下有个jd 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 面中勾选“允许作为程序执行文件”复选框。

如果无法修改权限,利用命令:sudo?chown?-R?你的用户名?/home/Desktop/eclipse.Desktop修改文件属主;然后再再运行老师的sudo?chmod?u+x?eclipse.desktop;最后再右键点击Allow Launching,就会看到图标改了,而且双击也能运行eclipse。

到此eclipse就全部安装完了。

注意:Linux下启动eclipse报错如下:

/

解决办法是在终端进入你的eclipse目录,然后输入:

$mkdir jre

$cd jre

$ln -s 你的JDK目录/bin bin





[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《1实验一 Hadoop分布式系统集群搭建》的无排版文字预览,完整内容请下载

1实验一 Hadoop分布式系统集群搭建由用户“xihapengwei”分享发布,转载请注明出处
XXXXX猜你喜欢
回顶部 | 首页 | 电脑版 | 举报反馈 更新时间2021-08-16 06:21:38
if(location.host!='wap.kao110.com'){location.href='http://wap.kao110.com/html/7f/a9/93438.html'}ipt>if(location.host!='wap.kao110.com'){location.href='http://wap.kao110.com/html/7f/a9/93438.html'}ipt>