别无长物网

hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析

hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析

hdfs默认数据存放路径

1. 默认存放路径:{ hadoop.tmp.dir} = /tmp/hadoop-${ user.name}

即:$>/tmp/hadoop-hyxy,分布放路

注意:/tmp是式文属性临时存放文件的路径,但是系据存径及解析有时候系统重启,或者数据量太大的统默时候,系统会

删除里面某些数据,认数因此一般会修改路径到当前用户目录下:

即:$>/home/hyxy/tmp/hadoop

理解格式化:

理解格式化的相关详细含义{ 创建dfs/name/fsimage和edit文件,针对namenode的配置守护进程}

开启namenode进程会失败:

失败的原因是:我们在core-site.xml修改了tmp路径:【/home/hyxy/tmp/hadoop】,

启动namenode服务的分布放路时候,系统找不到原来的式文属性路径:/${ hadoop.tmp.dir}/dfs/name,

解决方法:

a.重新格式化,但,系据存径及解析原有的统默HDFS的数据全部删除掉

b.复制{ /tmp/hadoop-hyxy/dfs/name}至{ /home/hyxy/tmp/hadoop/dfs}的路径下,问题解决。认数

2.查看系统日志

{ $HADOOP_HOME/logs}:

如果服务没起来,相关详细可以查看日志文件,配置要是不想查看日志信息,可以hdfs namenode /datanode;

也 可以查看出错的分布放路信息。

3.分别设置dfs的相关目录{ name , data , namesecondary},(在hdfs-default.xml查找源码)

并在hdfs-site.xml添加:

name:

dfs.namenode.name.dir

file://${ hadoop.tmp.dir}/dfs/name

#专门针对name的路径设置,不放在默认的路径下,可以指定我们的默认物理磁盘

确定本地文件系统上DFS名称节点的位置

应该存储名称表(fsimage)。 如果这是一个以逗号分隔的列表

的目录,然后名称表被复制到所有的目录中,以实现冗余。

data:

dfs.datanode.data.dir

file://${ hadoop.tmp.dir}/dfs/data

确定本地文件系统上DFS数据节点的位置

应该存储它的块。 如果这是逗号分隔的

目录列表,然后数据将被存储在所有命名

目录,通常在不同的设备上。 目录应该被标记

与HDFS对应的存储类型([SSD] / [磁盘] / [存档] / [RAM_DISK])

存储政策。 如果目录不存在,则默认存储类型为DISK

没有明确标记的存储类型。 不存在的目录将

如果本地文件系统权限允许,则创建它。

namesecondary

dfs.namenode.checkpoint.dir

file://${ hadoop.tmp.dir}/dfs/namesecondary

确定本地文件系统上DFS辅助名称节点应该存储要合并的临时像 的位置。 如果这是一个以逗号分隔的目录列表,则图像将 复制到所有目录中以实现冗余。

上述红色字体:是修改name,data,namenodesecondary三个的路径。

未经允许不得转载:别无长物网 » hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析