首页 > 软件开发 > 架构

HDFS概述

admin 架构 2021-04-26 16:00:08 hadoop   linux   hdfs   分布式   集群  
后台-系统设置-扩展变量-手机广告位-内容正文底部

HDFS概述

  • HDFS的功能与应用场景
    • 功能
    • 过程
    • 应用场景
  • HDFS的分块与副本机制
    • 分块机制
    • 副本机制
  • 主从架构
    • Client功能
    • NameNode功能
    • DataNode功能
  • 数据写入流程
  • 数据读取流程
  • 启动方式
    • 单进程访问
    • 分类启动
    • 全部启动
  • 文件管理命令
    • Client
    • 格式
      • 列举
      • 上传
      • 下载
      • 删除
      • 创建目录
      • 查看
      • 其它
  • 集群管理命令
    • Client
      • 集群状态
      • 安全模式

Hadoop概述

HDFS的功能与应用场景

功能

实现分布式文件存储,提供分布式文件读写。

过程

分:将一个大的文件拆分为多个小的部分(block块,默认为128M),将块储存在不同的节点上。

合:读取时将所有块进行合并,返回给用户。

HDFS存储的是块,而用户操作的是文件。NameNode存储了元数据(记录文件和块的映射关系)。

应用场景

不同的存储需求应该用不同的框架来实现。

HDFS要将数据储存到硬盘,速度不快,且块128M,显然:

HDFS适合:存储大数据量文件的场景;离线的场景、延迟性要求不高的场景;读写速度要求不高的场景;一次写入,多次读取的场景。

HDFS不适合:一条数据一条数据存储的场景(更适合使用数据库);读写速度要求较高的场景(更适合使用分布式硬盘、内存存储);频繁修改的场景(更适合使用内存存储)。

HDFS的分块与副本机制

分块机制

功能:用于实现分布式,将大文件拆分成为多个小的块。

块的大小是按照文件大小划分的,由属性决定。

在Hadoop官网:
在这里插入图片描述
在这里插入图片描述
查找配置文件,可以看到很多惊天大秘密。。。

HDFS默认配置有写:
在这里插入图片描述
换算出来Block块的大小就是128M。

或者去配置文件里也能找到类似的内容:

<property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
</property>

默认就是128M为一块,如果不足128M就会按实际大小存储。

副本机制

HDFS的副本机制很像NAS机常用的raid1(raid0是类似双通道内存那样提速用的,raid1是2块硬盘记录完全相同的内容以确保数据的安全性)。

功能:为了保证数据块的安全,HDFS会为每个块构建副本,存储多份相同的内容。

HDFS的算法会自动将每个块复制多份,尽量存储在不同的机器上(也是由配置决定)。

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>

可以看出默认配置是每个块存储3份。(银行的异地容灾一般也是备份3份)。

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas</value>
</property>

HDFS中数据会储存在这个位置,由于笔者是3台虚拟机搭的集群,默认又是保存3份,故每个节点的该位置都会保存一套完整的数据。

在这个位置可以看到存储的文件被切成了2块128M和一块不足128M的内容。

主从架构

用户通过Client访问分布式服务HDFS的NameNode进程。NameNode进程会将需要存储的文件切分为128M的Block并将任务下发给DataNode进程,而用于记录分片映射关系(文件被切成几块、每块的位置)的元数据会由NameNode保存。

Client功能

Client是介于用户和Server之间的,用户操作客户端向服务端提交请求需要经过客户端,客户端供用户开发命令/代码,并将命令提交给服务端执行,还能将服务端运行的结果返回给用户。

NameNode功能

管理节点,同一时间只能有1个处于工作状态。

管理所有DataNode的状态(死活):通过心跳机制(所有的DataNode定期向NameNode发送心跳信号,如果NameNode长时间没有接收到心跳,就会判定为DataNode故障,网络状态不良时可能判作不健康)。

管理所有数据的安全(检查数据是否有丢失):通过汇报块机制(所有的DataNode会定期向NameNode汇报当前自己机器上所存储的数据块的情况,NameNode将每个DataNode汇报的信息与元数据进行比较,判断是否有数据丢失)。

管理元数据:NameNode管理的元数据都在内存中,所有数据的更新都是在内存中进行操作,为了掉电不丢失,也会在硬盘中存储快照(
由于在配置文件中写过:
<property> <name>dfs.namenode.name.dir</name> <value>file:///export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas</value> </property>
在该目录下的current里有个fsimage文件,这货就是存储在硬盘中的快照。每次NameNode启动会从fsimage文件中加载所有元数据到内存中,所有元数据更新都只更新内存元数据。快照的更新是借助SecondaryNameNode)。

接收客户端的读写请求:所有的HDFS客户端想要实现读写请求,必须指定NameNode的地址8020(配置文件中有写:fs.defaultFS = hdfs://node1:8020

DataNode功能

自身是存储节点(存储128M的Block数据块),接收NameNode的管理(分发的任务),接收客户端对块的读写请求(Client事实上是直接和DataNode传输64KB的Socket包的)。

数据写入流程

客户端会请求NameNode写入HDFS,NameNode会验证请求是否合法并返回结果(NameNode验证写入的文件是否存在、有没有权限写入等。如果不合法,直接拒绝请求)

NameNode返回对应的结果,构建这个文件的元数据,此时并没有跟块关联。

客户端提交第一个块的写入请求给NameNode。

NameNode根据每个DN的健康状态以及负载情况返回三台DataNode的地址,根据机架感知的分配规则,客户端所在的机架会存放一份,另外2份存储在另外的机架(老版本为了速度,会将2份存储在靠近客户端的机架。新版本是降低了速度,提高了机架的容错)。

客户端得到要写入数据块的三台DataNode地址,客户端会连接第一台(由机架感知决定,node1最近),提交写入。

三台DataNode构建一个数据传输的管道。

客户端将这个块拆分成多个packet【64k】,挨个发送个最近的DataNode1。

逐级返回写入成功的ack确认码,表示这个包写入完成(从硬件集群的机架内、机架间对拷硬盘比重新从客户端接收更高效,且客户端只需要传输一次,体验更好)。

不断发送下一个包,直到整个块写入完成,返回给NameNode,关联元数据。

重复提交下一个块的写入。

数据读取流程

启动方式

单进程访问

每条命令只启动一个进程,一般用于特殊场景。

启动HDFS:

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

启动YARN:

yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager

分类启动

最常用,一条命令可以启动一类进程。

启动HDFS(NameNode的机器):

start-dfs.sh
stop-dfs.sh

启动YARN(ResourceManager的机器):

start-yarn.sh
stop-yarn.sh

全部启动

start-all.sh

操作不可控,一般不用。

文件管理命令

Client

所有能对HDFS进行读写的命令/程序,都可以作为HDFS的客户端。HDFS中提供了自带的命令客户端。

bin/hdfs
hdfs
Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND
       where COMMAND is one of:
  dfs                  run a filesystem command on the file systems supported in Hadoop.
  classpath            prints the classpath
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  journalnode          run the DFS journalnode
  zkfc                 run the ZK Failover Controller daemon
  datanode             run a DFS datanode
  dfsadmin             run a DFS admin client
  haadmin              run a DFS HA admin client
  fsck                 run a DFS filesystem checking utility
  balancer             run a cluster balancing utility
  jmxget               get JMX exported values from NameNode or DataNode.
  mover                run a utility to move block replicas across
                       storage types
  oiv                  apply the offline fsimage viewer to an fsimage
  oiv_legacy           apply the offline fsimage viewer to an legacy fsimage
  oev                  apply the offline edits viewer to an edits file
  fetchdt              fetch a delegation token from the NameNode
  getconf              get config values from configuration
  groups               get the groups which users belong to
  snapshotDiff         diff two snapshots of a directory or diff the
                       current directory contents with a snapshot
  lsSnapshottableDir   list all snapshottable dirs owned by the current user
                                                Use -help to see options
  portmap              run a portmap service
  nfs3                 run an NFS version 3 gateway
  cacheadmin           configure the HDFS cache
  crypto               configure HDFS encryption zones
  storagepolicies      list/get/set block storage policies
  version              print the version

Most commands print help when invoked w/o parameters.

可以看到有很多命令。

格式

hdfs dfs 命令  参数
Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] [-h] <path> ...]
        [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...]
        [-expunge]
        [-find <path> ... <expression> ...]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} [-e en] <path>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] [-l] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-truncate [-w] <length> <path> ...]
        [-usage [cmd ...]]

太多了。。。

列举

hdfs dfs -ls /

路径必须为/开头的绝对路径。

当然也有相对路径(不常用),以/user/root/开头。

上传

hdfs dfs -put Linux文件地址  HDFS路径地址
hdfs dfs -put /export/data/wordcount.txt /wordcount/input/

这是之前上传文件到HDFS的命令。

下载

hdfs dfs -get  HDFS路径地址  Linux文件地址

删除

hdfs dfs -rm  [-r|-R] [-skipTrash]

其中-r或者-R是用于递归删除目录(也就是多层的文件夹),-skipTrash用于跳过回收站直接删除,不然还需要手动进入/user/root/.Trash/Current/目录删除回收站。HDFS还是比较吃硬盘空间的(∵默认要保存3份)。

创建目录

hdfs dfs -mkdir [-p]  目录路径

其中-p是用来创建层级目录的。

查看

hdfs dfs -cat /wordcount/input/wordcount.txt

其它

-cp
-mv

大多数命令和Linux的命令行差不多。

集群管理命令

Client

bin/hadoop command

命令也很多:

Usage: hdfs dfsadmin
Note: Administrative commands can only be run as the HDFS superuser.
        [-report [-live] [-dead] [-decommissioning]]
        [-safemode <enter | leave | get | wait>]
        [-saveNamespace]
        [-rollEdits]
        [-restoreFailedStorage true|false|check]
        [-refreshNodes]
        [-setQuota <quota> <dirname>...<dirname>]
        [-clrQuota <dirname>...<dirname>]
        [-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>]
        [-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]
        [-finalizeUpgrade]
        [-rollingUpgrade [<query|prepare|finalize>]]
        [-refreshServiceAcl]
        [-refreshUserToGroupsMappings]
        [-refreshSuperUserGroupsConfiguration]
        [-refreshCallQueue]
        [-refresh <host:ipc_port> <key> [arg1..argn]
        [-reconfig <datanode|...> <host:ipc_port> <start|status>]
        [-printTopology]
        [-refreshNamenodes datanode_host:ipc_port]
        [-deleteBlockPool datanode_host:ipc_port blockpoolId [force]]
        [-setBalancerBandwidth <bandwidth in bytes per second>]
        [-fetchImage <local directory>]
        [-allowSnapshot <snapshotDir>]
        [-disallowSnapshot <snapshotDir>]
        [-shutdownDatanode <datanode_host:ipc_port> [upgrade]]
        [-getDatanodeInfo <datanode_host:ipc_port>]
        [-metasave filename]
        [-triggerBlockReport [-incremental] <datanode_host:ipc_port>]
        [-help [cmd]]

Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|resourcemanager:port>    specify a ResourceManager
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.

The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]

集群状态

hdfs dfsadmin -report

安全模式

hdfs dfsadmin [-safemode <enter | leave | get | wait>]

当NameNode发现块的丢失比例超过0.001%,就会自动进入安全模式,用于恢复对应的数据。安全模式下,HDFS集群不对外提供读写。如果HDFS长久的停留在安全模式,将不能正常使用,虚拟机之间关电经常出现这种问题,可以手动强制退出安全模式:

hdfs dfsadmin -safemode leave

文章来源:https://blog.csdn.net/qq_41990268/article/details/116066142

后台-系统设置-扩展变量-手机广告位-内容正文底部
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
本文地址:https://jcdi.cn/ruanjiankaifa/jiagou/790.html

留言与评论(共有 0 条评论)
   
验证码:
后台-系统设置-扩展变量-手机广告位-评论底部广告位

教程弟

https://www.jcdi.cn/

统计代码 | 京ICP1234567-2号

Powered By 教程弟 教程弟

使用手机软件扫描微信二维码