以下为《1实验一 Hadoop分布式系统集群搭建》的无排版文字预览,完整内容请下载
福建农林大学计算机与***实验报告
系:
计算机系
年级专业:
18计某某(应用方向)
实验课程:
Hadoop分布式系统架构
姓名:
杨某某
学号:
***28
实验室:
田313
实验时间:
2021.04.12
指导教师:
王某某
成绩:
实验一 Hadoop分布式集群搭建
一、实验目的
1. 熟悉虚拟机的安装;
2. 熟悉Ubantu的安装;
3. 熟悉Hadoop伪分布式环境的搭建。
二、实验环境
操作系统:Windows
虚拟机软件:VMware Workstation 或VirtualBox
分布式软件:Hadoop,JDK,Eclipse
实验内容和要求
请根据操作步骤搭建Hadoop伪分布式环境。
1、准备工作
1)创建hadoop用户
(首先按?ctrl+alt+t?打开终端窗口,输入如下命令创建新用户 :
/
(接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次***假设***;1”)
/
注意:
在Linux的终端中输入密码,终端是不会显示任何你当前输入的密码,也不会提示你已经输入了多少字符***系统中,输入密码一般都会以“*”表示你输入的密码字符。
(可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
/
(最后注销当前用户(点击屏幕右上角的齿轮,选择注销),返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。
2)更新apt
用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。打开终端窗口,执行如下命令:
/
3)安装vim
后续需要更改一些配置文件,我比较喜欢用的是 vim(vi增强版,基本用法相同),建议安装一下(如果你实在还不会用 vi/vim 的,请将后面用到 vim 的地方改为 gedit,这样可以使用文本编辑器进行修改,并且每次文件更改完成后请关闭整个 gedit 程序,否则会占用终端):
/
安装软件时若需要确认,在提示处输入 y 即可。
/
4)安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
/
安装后,可以使用如下命令登陆本机:
/
此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码(即前面创建的hadoop用户的密码,本实验假设***;1”),这样就登陆到本机了。
/
SSH首次登陆提示
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
/
此时再用?ssh localhost?命令,无需输入密码就可以直接登陆了,如下图所示。
/
5)在ubuntu根目录下创建一个“Downloads”文件夹,把老师给的所有相关安装软件拷入此文件夹中。
2、安装Java环境
1)解压
手动安装,推荐采用本方式
Hadoop3.1.3需要JDK版本在1.8及以上。需要按照下面步骤来自己手动安装JDK1.8。
/
JDK文件解压缩以后,可以执行如下命令到/usr/lib/jvm目录查看一下:
/
可以看到,在/usr/lib/jvm目录下有个jd 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 面中勾选“允许作为程序执行文件”复选框。
如果无法修改权限,利用命令:sudo?chown?-R?你的用户名?/home/Desktop/eclipse.Desktop修改文件属主;然后再再运行老师的sudo?chmod?u+x?eclipse.desktop;最后再右键点击Allow Launching,就会看到图标改了,而且双击也能运行eclipse。
到此eclipse就全部安装完了。
注意:Linux下启动eclipse报错如下:
/
解决办法是在终端进入你的eclipse目录,然后输入:
$mkdir jre
$cd jre
$ln -s 你的JDK目录/bin bin
[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]
以上为《1实验一 Hadoop分布式系统集群搭建》的无排版文字预览,完整内容请下载
1实验一 Hadoop分布式系统集群搭建由用户“xihapengwei”分享发布,转载请注明出处