湘情盾网络科技有限公司

Hadoop3.2.0集群搭建常见注意事项

作者:发布时间:2020-11-27 12:52:50点击:136


一端口变化

3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问

二butthereisnoYARN_RESOURCEMANAGER_USERdefined.Abortingoperation

hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动:

exportJAVA_HOME=/usr/local/jdk/jdk1.8.0_191
exportHDFS_NAMENODE_USER=root
exportHDFS_DATANODE_USER=root
exportHDFS_SECONDARYNAMENODE_USER=root
exportYARN_RESOURCEMANAGER_USER=root
exportYARN_NODEMANAGER_USER=root

三3.2.0版本mapred-site.xml文件配置需要加mapreduce.application.classpath属性

mapreduce.application.classpath/usr/local/hadoop3/etc/hadoop,/usr/local/hadoop3/share/hadoop/common/*,/usr/local/hadoop3/share/hadoop/common/lib/*,/usr/local/hadoop3/share/hadoop/hdfs/*,/usr/local/hadoop3/share/hadoop/hdfs/lib/*,/usr/local/hadoop3/share/hadoop/mapreduce/*,/usr/local/hadoop3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop3/share/hadoop/yarn/*,/usr/local/hadoop3/share/hadoop/yarn/lib/*

四salave文件编程workers文件了,内容配置是一样的天津BGP

五启动成功不报错,但最蛋疼的LiveNodes为0问题


解决步骤:

一先查看datanode日志:


如果出现这个说明连接配置有问题,查看core-site.xml配置,这个是配置datanode和namnode通信的:

一看

天津高防BGP服务器租用

这里配置的连接地址有问题

hdfs应该配置成namnode的地址,不能配置成datanode的地址,所有节点都一样,这个地址,配置完成重启成功

网上还有说/etc/hots解析不成功的,这个也是一个原因,配置好域名映射就可以了,重要的是先看日志分析是什么问题

最后成功页面



在线客服
技术支持
热线电话
返回顶部

湘情盾

在线客服:
点击这里给我发消息湘情盾-笑笑
点击这里给我发消息湘情盾-文
点击这里给我发消息湘情盾-峰
点击这里给我发消息湘情盾-嘟嘟
点击这里给我发消息湘情盾-小宋
点击这里给我发消息湘情盾-小洁
点击这里给我发消息湘情盾-迎彤
点击这里给我发消息湘情盾-9
点击这里给我发消息湘情盾-欣欣
点击这里给我发消息湘情盾-瑶瑶
点击这里给我发消息湘情盾-知若
点击这里给我发消息湘情盾-茂茂
点击这里给我发消息湘情盾-靓靓
点击这里给我发消息湘情盾-寒雪
点击这里给我发消息湘情盾-若兰
点击这里给我发消息湘情盾-冰巧
渠道合作:
点击这里给我发消息渠道合作
财务QQ:
点击这里给我发消息湘情盾-财务

售后服务热线:

0745-2261996

技术邮箱:Server@15dun.com

总公司地址:湖南省怀化市鹤城区人民路新悦城608号