K8凯发(中国)天生赢家·一触即发

Hadoop大数据开发与性能调优实战培训课程Hadoop组件详解ppt
栏目:k8凯发官网 发布时间:2026-03-06
 Hadoop大数据开发与性能调优实战培训课程Hadoop组件详解.ppt  Hadoop之HDFS和MapReduceHadoop之HDFS和MapReduce掌握mapreduce原理和开发123理解HDFS原理3应用举例讲解培训目标123存储并管理PB级数据处理非结构化数据注重数据处理的吞吐量(时间不敏感)HDFS适合做什么?4应用模式为:write-once-read-many存取模式1

  Hadoop大数据开发与性能调优实战培训课程Hadoop组件详解.ppt

  Hadoop之HDFS和MapReduceHadoop之HDFS和MapReduce掌握mapreduce原理和开发123理解HDFS原理3应用举例讲解培训目标123存储并管理PB级数据处理非结构化数据注重数据处理的吞吐量(时间不敏感)HDFS适合做什么?4应用模式为:write-once-read-many存取模式123存储小文件(不建议使用)大量的随机读(不建议使用)需要对文件的修改(不支持)HDFS不适合做什么?Hadoop的特点?扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据并且线性扩展。?成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。?高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。?可靠性(Reliable):hadoop能自动地维护数据的多份副本,并且在任务失败后能自动地重新部署(redeploy)计算任务。Hadoop集群的物理分布HDFSNamenode?是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件和目录的元信息以及每个文件对应的数据块列表。接收用户的操作请求。NN包括:?fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。?edits:操作日志文件。?fstime:保存最近一次checkpoint的时间?以上这些文件是保存在linux的文件系统中SecondaryNameNode?HA的一个解决方案。但不支持热备。?执行过程:从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,同时重置NameNode的edits。合并策略是根据时间和根据edits log变换大小。?默认是安装在NameNode节点上,可以通过配置启动在其他节点。DataNode?一个Block(数据块)在DataNode以文件存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳?DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。?心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataNode 的心跳,则认为该节点不可用并把失效节点上的block备份到其他机器上面,保证副本数为3。

  Hadoop大数据开发与性能调优实战培训课程Hadoop组件详解 来自淘豆网转载请标明出处.