博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hue(02)、Hue集成Hadoop集群(HDFS和YARN)
阅读量:7082 次
发布时间:2019-06-28

本文共 2635 字,大约阅读时间需要 8 分钟。

hot3.png

        在上文中,我们完整的进行了Hue的源码下载编译安装,Hue的web控制台与Hdfs、Hive、Hbase等集成才能展现它的魅力。本文我们在Hue中集成hadoop的hdfs和yarn服务,然后使用Hue操作和监控hadoop集群。

一、环境准备

1.hadoop集群(hadoop2.8.2)

2.hue4.1服务

二、集成配置

注意:以下1-4同样需要在其他的hadoop集群的节点上操作

1.修改hadoopde的hdfs-site.xml文件

修改hadoop的/etc/hadoop/目录下的hdfs-site.xml文件,在文件中加入以下配置:

<property>

        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
</property>

<property>

         <name>dfs.permissions.enabled</name>
         <value>false</value>
</property>

123910_H33p_2846946.png

2.修改hadoopde的core-site.xml文件

修改hadoop的/etc/hadoop/目录下的core-site.xml文件,在文件中加入以下配置 :            

<property>

         <name>hadoop.proxyuser.hue.hosts</name>
         <value>*</value>
</property>

<property>

         <name>hadoop.proxyuser.hue.groups</name>
         <value>*</value>
</property>

124345_jJs4_2846946.png        

3.修改hadoopde的httpfs-site.xml文件

修改hadoop的/etc/hadoop/目录下的httpfs-site.xml文件,在文件中加入以下配置 : 

<property>

         <name>httpfs.proxyuser.hue.hosts</name>
         <value>*</value>
</property>

<property>

         <name>httpfs.proxyuser.hue.groups</name>
         <value>*</value>
</property>

124705_fdZD_2846946.png

4.修改hadoopde的yarn-site.xml文件

修改hadoop的/etc/hadoop/目录下的yarn-site.xml文件,在文件中加入以下配置 :

<property>

         <name>yarn.log-aggregation-enable</name>
         <value>true</value>
</property>

<property>

         <name>yarn.log-aggregation.retain-seconds</name>
         <value>432000</value>
</property>

125128_JNH8_2846946.png

5.修改hue的pseudo-distributed.ini文件集成hdfs

修改hue的/desktop/conf/目录下的pseudo-distributed.ini文件,对hadoop集群的hdfs配置如下:

fs_defaultfs=hdfs://hdpc01:9000

webhdfs_url=http://hdpc01:50070/webhdfs/v1

hadoop_conf_dir=/home/hadoop/hadoop-2.8.2/etc/hadoop

125604_2EcC_2846946.png

6.修改hue的pseudo-distributed.ini文件集成yarn

修改hue的/desktop/conf/目录下的pseudo-distributed.ini文件,对hadoop集群的yarn配置如下:  

resourcemanager_host=hdpc01

resourcemanager_port=8032

submit_to=True

resourcemanager_api_url=http://hdpc01:8088

proxy_api_url=http://hdpc01:8088

history_server_api_url=http://hdpc01:19888   

130236_B7Vs_2846946.png

三、集成准备

1.启动hadoop集群

在主节点上启动hadoop集群start-all.sh

103616_9Chc_2846946.png

2.启动Hue服务

在hue的/bulid/env/bin/目录下 ./supervisor 启动hue服务

131122_zPhq_2846946.png

3.服务启动验证

 验证hadoop集群启动                 

133655_zQ3e_2846946.png

验证hue服务启动

131739_R5Hh_2846946.png

四、集成使用

1.使用hue查看hdfs文件

点击hdfs图标,可以Open in Browser查看详细的文件列表信息,如下图:

132326_U6IK_2846946.png

2.查看单个文件详细的信息

在文件列表中点击文件可以查看这个文件详细的信息,如下图:

132637_xgIh_2846946.png

3.使用hue上传文件到hdfs中

我们这里上传bsck.txt文件到hdfs目录下,如下步骤:

首先,切换到hdfs目录下,点击upload上传文件按钮

133113_bAwN_2846946.png

然后,选择上传的back.txt文件到hdfs中即可看到

133402_hdKh_2846946.png

4.从hdfs上删除文件

我们删除刚刚上传到hdfs目录下的back.txt文件,先选中文件然后点击Delete forever按钮即可删除

133838_uDps_2846946.png

5.hue中对hdfs文件的更多操作

我们选中文件点击Actions,可以看到下拉框中对文件的更多其他操作项,有下载、拷贝、移动、重命名、修改权限等等

134158_9EbC_2846946.png

6.hue中查看MapReduce执行的Job

我们点击Jobs打开作业浏览面板,在这里可以看到执行中、执行完成、执行失败的作业信息,如下:

143141_razN_2846946.png

五、问题总结

1.关于hue集成hdfs的问题

在hue集成完成hadoop后,使用hue查看hdfs的时候,hue的控制面板总是提示如下错误:

142941_7oab_2846946.png         

解决办法:在hue中创建用户hdfs,并且设置未超级用户即可解决

143429_B8Wz_2846946.png

2.关于进入hue提示连接10000端口服务异常

143537_SHdX_2846946.png

该问题是我们没有连接hive服务提示的异常,解决办法就是集成hive即可,详细见下篇博文

六、最后总结

         通过文本在hue中集成hadoop集群(hdfs和yarn),并且在集成完成后进行了简单的使用,我们以后可以有更好的方式操作hdfs和查看作业执行情况了,后面我们还将继续集成hive和mysql服务,文中有不对的地方欢迎大家指出来

 

转载于:https://my.oschina.net/zss1993/blog/1612906

你可能感兴趣的文章
我的友情链接
查看>>
我的友情链接
查看>>
编写猜数字游戏
查看>>
元素只读,disable 和readonly 区别
查看>>
python学习5-python模块
查看>>
我的友情链接
查看>>
【ROM分享】ZTE S2014 移动4G
查看>>
golang学习笔记——变量
查看>>
tomcat启动报错Invalid character found in method name. HTTP method names must be tokens
查看>>
appium+python3.6
查看>>
RAID cache的作用及更换RAID 电池注意事项
查看>>
如何挖掘和优化长尾关键词?
查看>>
windows下安装解压版mysql
查看>>
Linux启用ssh服务
查看>>
Centos7 Snapper快照备份
查看>>
cdn
查看>>
每一天的成长由此开始
查看>>
swift开发中如何将时间显示为几分钟前、几小时前、几天前、几个月前
查看>>
某店订单系统水平分库的实践之路以及关键步骤
查看>>
Oracle GoldenGate 快速安装配置实用指南
查看>>