编程开发 购物 网址 游戏 小说 歌词 地图 快照 股票 美女 新闻 笑话 | 汉字 软件 日历 阅读 下载 图书馆 开发 租车 短信 China
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
移动开发 架构设计 编程语言 互联网 开发经验 Web前端 开发总结
开发杂谈 系统运维 研发管理 数据库 云 计 算 Java开发
VC(MFC) Delphi VB C++(C语言) C++ Builder 其它开发语言 云计算 Java开发 .Net开发 IOS开发 Android开发 PHP语言 JavaScript
ASP语言 HTML(CSS) HTML5 Apache MSSQL数据库 Oracle数据库 PowerBuilder Informatica 其它数据库 硬件及嵌入式开发 Linux开发资料
  编程开发知识库 -> 云计算 -> hadoop2.7.3伪分布式搭建之三 -> 正文阅读
 

[云计算]hadoop2.7.3伪分布式搭建之三[第1页]


1. 第一步
       上传hadoop的安装包hadoop-2.7.3.tar.gz到服务器上去/home/hadoop/


2.  第二步 配置hadoop
hadoop-2.7.3的搭建需要修改5个配置文件


第一个:hadoop-env.sh

vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.8.0_45

第二个:core-site.xml
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.7.3/tmp</value>
                </property>

第三个:hdfs-site.xml 
                
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
                </property>

第四个:mapred-site.xml (改名后得到的文件)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
    </property>

第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
    </property>
<!-- reducer获取数据的方式 -->
    <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
      </property>

3.  第三步 将hadoop添加到环境变量

          vim /etc/proflie

export JAVA_HOME=/usr/java/jdk1.8.0_45
  export JRE_HOME=$JAVA_HOME/jre
  export HADOOP_HOME=/home/hadoop/app/hadoop-2.7.3
  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile

4.  第四步 格式化namenode(是对namenode进行初始化)

hdfs namenode -format (hadoop namenode -format 已经过时,但是依然可用)


5.  第五步 启动hadoop

    
   cd /home/hadoop/app/hadoop-2.7.3/sbin
           执行命令start-all.sh

Hadoop搭建到此结束,接下来是验证是否搭建成功
  使用jps命令验证
       出现以下结果,表明启动成功
[root@hadoop01 sbin]# jps
    6417 DataNode
7207 NodeManager
6920 ResourceManager
7258 Jps
6235 NameNode
6700 SecondaryNameNode
界面访问
                #http://192.168.18.128:50070 (HDFS管理界面)
http://192.168.18.128:8088 (MR管理界面)



Hadoop 环境搭建优化
配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost



优化后,启动start-all.sh命令时,无需每次都输入密码,方便使用
  云计算 最新文章
NLP06-Gensim源码简析[字典]
pandas中使用三元表达式
Docker基础笔记
大数据工程师必备技能图谱
ServiceComb中的数据最终一致性方案
63. Unique Paths II
手把手教你建github技术博客by hexo
hadoop datanode结点不启动导致dfs控制台显
spark on yarn架构简介
mapreduce程序本地模式调试
上一篇文章      下一篇文章      查看所有文章
加:2016-11-18 02:41:04  更:2016-11-18 02:47:15 
VC(MFC) Delphi VB C++(C语言) C++ Builder 其它开发语言 云计算 Java开发 .Net开发 IOS开发 Android开发 PHP语言 JavaScript
ASP语言 HTML(CSS) HTML5 Apache MSSQL数据库 Oracle数据库 PowerBuilder Informatica 其它数据库 硬件及嵌入式开发 Linux开发资料
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture 股票 租车
生肖星座 三丰软件 视频 开发 短信 中国文化 网文精选 搜图网 美图 阅读网 多播 租车 短信 看图 日历 万年历 2018年1日历
2018-1-24 0:10:49
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  编程开发知识库