当前位置:艾威培训主页 > 云计算与大数据 > Hadoop实战培训 > IDH企业级完整训练 >
IDH企业级完整训练
课程介绍:
培训目标:
• 彻底理解IDH 代表的云计算实现技术的能力• 具备构建并驾驭IDH集群能力
• 具备修改IDH框架的能力
• 具备开发自己网盘的能力
• 具备修改HDFS具体源码实现的能力
• 从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力
• 具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力
• 具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力
• 具体IDH企业管理员的实际能力
• 具备理解并通过命令行和Java两种方式操作ZooKeeper的能力
• 具备掌握Hive企业级开发和管理的能力
• 具备使用Sqoop自由转换传统关系型数据库和HDFS中数据的能力
• 具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力
课程对象:
1、对云计算、分布式数据存储于处理、大数据等感兴趣的朋友2,传统的数据库,例如Oracle、MaySQL、DB2等的管理人员
3,Java开发者
4,网站服务器端的开发人员
课程时长:3天
课程方式:
课程大纲:
第1个主题:英特尔Hadoop发行版(具备理解IDH的能力)
1、 英特尔Hadoop发行版本的生态系统
2、 英特尔Hadoop发行版本的具体组件分析
3、 英特尔Hadoop发行版本的优势
4、 英特尔Hadoop发行版与开源版本的具体比较
5、 英特尔Hadoop发行版具体案例剖析
第2个主题:英特尔Hadoop发行版集群的构建与管理(具备构建并驾驭英特尔Hadoop集群能力)
1、 构建英特尔发行版Hadoop集群的步骤
2、 在服务器上安装IDH
3、 Intel Manager for Hadoop介绍
4、 使用Intel Manager for Hadoop配置Hadoop集群
5、 系统配置
6、 附加配置
7、使用Intel Manager for Hadoop管理Hadoop集群
第3主题:彻底掌握HDFS(具备开发自己网盘的能力)
1、HDFS体系架构剖析
2、NameNode、DataNode、SecondaryNameNode架构
3、保证NodeName高可靠性最佳实践
4、DataNode中Block划分的原理和具体存储方式
5、修改Namenode、DataNode数据存储位置
6、使用CLI操作HDFS
7、使用Java操作HDFS
第4主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)
1、RPC架构剖析
2、源码剖析Hadoop构建于RPC之上
3、源码剖析HDFS的RPC实现
4、源码剖析客户端与与NameNode的RPC通信
第5个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)
1、MapReduce执行的经典步骤
2、wordcount运行过程解析
3、Mapper和Reducer剖析
4、自定义Writable
5、新旧API的区别以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行运行
第6个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)
1、 Hadoop是如何把HDFS文件转化为键值对的?
2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现
3、 源码剖析转化为键值对后供Map调用的过程实现
第7个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)
1、 Hadoop内置计数器及如何自定义计数器
2、 Combiner具体的作用和使用以及其使用的限制条件
3、 Partitioner的使用最佳实践
4、 Hadoop内置的排序算法剖析
5、 自定义排序算法
6、 Hadoop内置的分组算法
7、 自定义分组算法
8、 MapReduce常见场景和算法实现
第8个主题:实战ZooKeeper(具备理解并通过命令行和Java两种方式操作ZooKeeper的能力)
1、ZooKeeper架构剖析及集群搭建
2、使用命令行操作ZooKeeper
3、使用Java操作ZooKeeper
第9个主题:实战Sqoop(具备使用Sqoop自由转换传统关系型数据库和HDFS中数据的能力)
1、Sqoop架构
2、实战Sqoop把MySQL中的数据导入到HDFS中
3、实战Sqoop把HDFS中的数据导入到MySQL中
4、定义Sqoop任务
第10个主题:实战Hive(具备掌握Hive企业级开发和管理的能力)
1、 Hive架构剖析
2、 Hive在HDFS中存储实现
3、 使用MySQL作为Hive的Metastore
4、 内部表、分区表、外部表、桶表
5、 视图
6、 自定义Hive的函数
第11个主题:电信日志项目(具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力)
通过电信商搜集用户接打电话、上网等产生的日志对用户的电话和网络行为进行分析和监控,初步贯穿前面讲解的主要内容,使大家熟悉Hadoop一个完整项目的分析、开发、部署的全过程。
1、 英特尔Hadoop发行版本的生态系统
2、 英特尔Hadoop发行版本的具体组件分析
3、 英特尔Hadoop发行版本的优势
4、 英特尔Hadoop发行版与开源版本的具体比较
5、 英特尔Hadoop发行版具体案例剖析
第2个主题:英特尔Hadoop发行版集群的构建与管理(具备构建并驾驭英特尔Hadoop集群能力)
1、 构建英特尔发行版Hadoop集群的步骤
2、 在服务器上安装IDH
3、 Intel Manager for Hadoop介绍
4、 使用Intel Manager for Hadoop配置Hadoop集群
5、 系统配置
6、 附加配置
7、使用Intel Manager for Hadoop管理Hadoop集群
第3主题:彻底掌握HDFS(具备开发自己网盘的能力)
1、HDFS体系架构剖析
2、NameNode、DataNode、SecondaryNameNode架构
3、保证NodeName高可靠性最佳实践
4、DataNode中Block划分的原理和具体存储方式
5、修改Namenode、DataNode数据存储位置
6、使用CLI操作HDFS
7、使用Java操作HDFS
第4主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)
1、RPC架构剖析
2、源码剖析Hadoop构建于RPC之上
3、源码剖析HDFS的RPC实现
4、源码剖析客户端与与NameNode的RPC通信
第5个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)
1、MapReduce执行的经典步骤
2、wordcount运行过程解析
3、Mapper和Reducer剖析
4、自定义Writable
5、新旧API的区别以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行运行
第6个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)
1、 Hadoop是如何把HDFS文件转化为键值对的?
2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现
3、 源码剖析转化为键值对后供Map调用的过程实现
第7个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)
1、 Hadoop内置计数器及如何自定义计数器
2、 Combiner具体的作用和使用以及其使用的限制条件
3、 Partitioner的使用最佳实践
4、 Hadoop内置的排序算法剖析
5、 自定义排序算法
6、 Hadoop内置的分组算法
7、 自定义分组算法
8、 MapReduce常见场景和算法实现
第8个主题:实战ZooKeeper(具备理解并通过命令行和Java两种方式操作ZooKeeper的能力)
1、ZooKeeper架构剖析及集群搭建
2、使用命令行操作ZooKeeper
3、使用Java操作ZooKeeper
第9个主题:实战Sqoop(具备使用Sqoop自由转换传统关系型数据库和HDFS中数据的能力)
1、Sqoop架构
2、实战Sqoop把MySQL中的数据导入到HDFS中
3、实战Sqoop把HDFS中的数据导入到MySQL中
4、定义Sqoop任务
第10个主题:实战Hive(具备掌握Hive企业级开发和管理的能力)
1、 Hive架构剖析
2、 Hive在HDFS中存储实现
3、 使用MySQL作为Hive的Metastore
4、 内部表、分区表、外部表、桶表
5、 视图
6、 自定义Hive的函数
第11个主题:电信日志项目(具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力)
通过电信商搜集用户接打电话、上网等产生的日志对用户的电话和网络行为进行分析和监控,初步贯穿前面讲解的主要内容,使大家熟悉Hadoop一个完整项目的分析、开发、部署的全过程。