K8凯发(中国)天生赢家·一触即发

大数据方向Hadoop核心知识进阶宝典——HDFS、MapReduce、YARN视频课程
栏目:k8凯发官网 发布时间:2025-10-01
 本科毕业于南京大学,硕士毕业于浙江大学。十年大数据行业从业经验,三年外部培训和企业内训经验。拥有CCAH、阿里云企业级互联网架构、信息系统项目管理师、PMP等十余项专业证书,4项国际/国内...  大数据核心课程之一,帮助学员学习Hadoop三大核心组件HDFS、MapReduce、YARN的关键知识点。  对大数据、云计算方向的学员来说,Hadoop生态体系的知识是面试和的重要组成部分,而H

  本科毕业于南京大学,硕士毕业于浙江大学。十年大数据行业从业经验,三年外部培训和企业内训经验。拥有CCAH、阿里云企业级互联网架构、信息系统项目管理师、PMP等十余项专业证书,4项国际/国内...

  大数据核心课程之一,帮助学员学习Hadoop三大核心组件HDFS、MapReduce、YARN的关键知识点。

  对大数据、云计算方向的学员来说,Hadoop生态体系的知识是面试和的重要组成部分,而Hadoop核心的三驾马车——HDFS、MapReduce、YARN又是重中之重。这套课程包含50讲课,涉及三大组件的所有关键知识点,并辅以大量的演示和练习,使得学员们既能具备一定的理论高度,又能学习基本的实操技能。

  对于本机构三个方向的学员有不同的要求:开发方向的学员要求较高,需要学习所有理论知识,熟悉所有编码和操作。运维方向的学员要求中等,需要学习所有理论知识,熟悉命令行下的操作,Java代码能看懂即可。分析方向的学员,只需要学习所有理论知识,对实操部分可以根据个人兴趣有选择地尝试。

  课程大纲-大数据方向Hadoop核心知识进阶宝典——HDFS、MapReduce、YARN视频课程

  主机环境准备介绍Hadoop的三种部署模式,并指导大家进行伪分布模式部署的基础准备工作,包括启用虚拟机、安装JDK、创建账号、配置免密登陆。

  搭建伪分布模式集群指导大家正式进行伪分布模式集群部署,包括下载程序包、修改环境变量和配置文件、启动服务、运行wordcount测试。

  搭建Java开发环境指导大家搭建IntelliJ IDEA下的Hadoop Java开发环境,包括准备用户和HDFS数据、创建maven工程、编写代码、配置运行环境(本地执行MapReduce,写到远程HDFS)等步骤。

  HDFS的特性和概念介绍Hadoop的分布式文件系统HDFS的特性,以及数据块、NameNode、DataNode、命名空间、k8凯发官网数据复制、安全模式等基本概念。

  HDFS的命令行接口介绍HDFS的伪分布配置,以及HDFS命令行接口的格式、常用的命令动作,最后补充介绍一个并行拷贝命令distcp。

  Hadoop的文件系统和接口Hadoop可以使用多种文件系统,本讲简单介绍它们的基本特性,以及Java、HTTP、NFS等几种不同的文件系统接口的特性和用法。

  「仅限付费用户」点击下载“14-6 Hadoop的文件系统和接口.pdf”

  HDFS的Java接口-读取和查询介绍并演示使用Hadoop URL和FileSystem读取HDFS数据的方法,以及查询文件元数据、列出文件、使用通配符查询的方法。

  「仅限付费用户」点击下载“14-7 HDFS的Java接口-读取和查询.pdf”

  HDFS的Java接口-写入和删除介绍并演示对HDFS进行写操作的方法,包括写入文件、创建目录、删除文件或目录、修改文件元数据等。

  「仅限付费用户」点击下载“14-8 HDFS的Java接口-写入和删除.pdf”

  HDFS的数据流机制剖析客户端连接HDFS进行文件读取的流程、文件写入的流程,介绍并演示了HDFS的一致性模型。

  HDFS的数据完整性和压缩介绍HDFS的数据完整性机制。介绍Hadoop支持的压缩算法,演示使用压缩和解压API,最后补充压缩和输入分片的关系。

  「仅限付费用户」点击下载“14-10 HDFS的数据完整性和压缩.pdf”

  HDFS的长期性数据结构介绍了HDFS的永久性数据结构,即NameNode、Secondary NameNode、DataNode怎样在磁盘上组织永久性数据。最后补充HDFS安全模式的一些话题。

  「仅限付费用户」点击下载“14-11 HDFS的永久性数据结构.pdf”

  HDFS的高可用介绍NameNode为什么有可用性问题,解决该问题的两种HA方案是怎样的,以及在两种方案下,分别如何进行故障转移与规避。

  HDFS的集中式缓存管理介绍HDFS的集中式缓存的概念、架构、组成、所需配置、管理命令,最后给大家进行演示。

  「仅限付费用户」点击下载“14-13 HDFS的集中式缓存管理.pdf”

  HDFS的快照介绍HDFS快照的基本概念、常用命令,最后给大家进行演示。

  HDFS的配额和短路本地读介绍HDFS配额的概念、类型、常用命令,并进行演示。介绍短路本地读的概念和配置方法。

  「仅限付费用户」点击下载“14-15 HDFS的配额和短路本地读.pdf”

  HDFS的管理命令介绍HDFS的常用管理命令,分为用户命令和管理员命令两类来进行讲解和演示。

  Hadoop的内置序列化介绍序列化的基本概念,重点介绍Hadoop内置序列化机制Writable接口和多种不同的Writable类。

  「仅限付费用户」点击下载“14-17 Hadoop的内置序列化.pdf”

  Avro的数据类型和模式Hadoop还可以支持其他序列化框架,本讲介绍Avro这种框架的基本特点、数据类型、模式。

  「仅限付费用户」点击下载“14-18 Avro的数据类型和模式.pdf”

  Avro的序列化和反序列化介绍并演示使用Avro的API进行序列化和反序列化的方法,包括使用Java API、使用自动生成的API读写。补充介绍Avro的数据文件以及其他特性。

  「仅限付费用户」点击下载“14-19 Avro的序列化和反序列化.pdf”