某国际公司Spark平台运维实践培训成功开展
2017年2月20日，艾威培训资深的Spark讲师走进某国际公司，展开为期4天的企业级Spark定制培训；在此培训我们的课程顾问与客户做了大量了沟通，并最终根据客户的需求定制了相关内容。
本次培训的主要知识如下：
|
一、 Spark应用基础 |
106. Spark的实时处理基础知识 107. Spark生态系统概述以及发展历程 108. Spark在处理实时数据场景下的优势和处理模式 109. Spark内存计算编程框架 110. Spark Core的基础原理 111. Spark SQL的基础原理 112. Spark Streaming的基础原理 113. Spark MLib的基础原理 114. Spark GraphX的基础原理 115. SparkR的基础原理 116. Spark在业界的实际应用场景与相关案例简介 |
|
二、 Spark与Hadoop大数据平台的融合解决方案 |
117. Spark与Hadoop的融合集成之道 118. Spark与Hadoop处理模式的异同点和各自的优势 119. Spark和Hadoop在大数据项目中的应用定位和解决方案 |
|
Spark分析处理平台架构和组件 |
120. Spark平台架构，以及利用Spark解决数据分析挖掘任务的优势之处 121. Spark数据数据分析挖掘平台的产品解决方案 122. Spark MLib机器学习平台架构 123. Spark GraphX图数据分析平台架构 124. Spark Steaming流数据处理平台架构 |
|
三、 Spark应用实践操作训练 |
125. 部署与配置Spark集群，以及Spark性能调优 126. Spark HA集群部署配置 127. Spark-submit应用程序部署工具应用 128. 构建Spark开发环境 129. Spark程序运行以及操作 |
|
四、 Spark大数据实时与高性能处理平台剖析 |
130. Spark实时大数据处理平台架构 131. Spark编程模型以及Spark编程实例解析 132. Spark RDD内存弹性分布式数据集的工作原理与机制 133. Spark Core的核心组件剖析 134. Spark的运行架构和运行过程剖析 135. Spark on Yarn运行原理和实例解析 136. Spark分组取top N，DataFrame与RDD的两种转换方式，Spark SQL的内置函数、开窗函数、UDF、UDAF，Spark Streaming的Kafka Direct API、updateStateByKey、 137. Spark RDD transform、滑动窗口、foreachRDD性能优化、持久化、checkpoint、容错与事务、与Spark SQL整合使用 138. 基于Spark的实时数据仓库与实时分析挖掘处理的应用实践，以及应用案例 |
|
五、 基于Spark的实时数据仓库和实时数据分析挖掘处理平台的实现机制， Spark SQL，Spark Streaming，MLib，GraphX，SparkR的应用实践 |
139. 内存计算模型和实时处理技术介绍 140. Spark中各个分布式组件的处理框架及工作原理 141. Spark SQL实时数据仓库的实现原理机制及应用实践 142. Spark Streaming流式数据实时处理机制及应用实践 143. Spark MLib实时机器学习算法应用实践与案例应用 144. Spark GraphX实时图数据处理应用实践与社交网络分析应用 145. SparkR的实现原理与应用实践 146. Spark组件的应用编程开发实战 147. Spark与Hadoop 的集成应用实践，包括Spark与HDFS的集成，以及Spark与Yarn的集群集成 |
|
六、 Spark核心组件功能运用的实践操作训练 |
148. Spark SQL应用操作实训 149. Spark Streaming应用操作实训 150. Spark MLib应用操作实训 151. Spark GraphX应用操作实训 152. SparkR应用操作实训 153. Spark与HBase集成数据分析实验实训 |
|
七、 基于Hadoop与Spark平台的数据挖掘与机器学习平台实践（可选） |
154. 基于Hadoop与Spark构建实时推荐系统的项目步骤 155. 分类分析模型训练：决策树、贝叶斯算法应用于数值数据集和文本数据集分类，进行客户分类与深度标签应用 156. 关联分析模型训练：FP-growth，Apriori算法应用于电商订单数据集和影视日志数据集 157. 推荐模型训练：利用UserCF和ItemCF推荐算法应用评分数据集分析用户偏好以及感兴趣的产品推荐 |
|
八、 大数据应用项目的运维管理应用案例 |
158. 基于Hadoop & Spark的日志分析系统应用案例 159. 基于Hadoop & Spark的数据挖掘系统应用案例 160. 基于Hadoop & Spark的客户分析系统应用案例 161. 基于Hadoop & Spark的电商数据分析系统案例 162. 基于Hadoop & Spark的电信用户行为分析应用案例 163. 基于Hadoop & Spark的实时数据流分析应用案例 164. 基于Hadoop & Spark的电信基站数据分析应用案例 |
| 九、 大数据分布式采集系统架构和分布式消息订阅系统架构及其应用实践（可选） |
165. Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战 166. Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战 |
|
十、 HUE与Ambari自动化运维管理工具应用实践 |
167. HUE运维监控系统的部署与配置，以及它在监控Hadoop与Spark平台系统组件（如HDFS，Yarn，Hive，HBase，Spark SQL， Spark Streaming，GraphX等组件）中的应用 168. Apache Ambari大数据监控与运维管理系统的部署与配置，以及应用实践 |
|
十一、 大数据平台的服务器与操作系统级别的运维管理工具实践 |
169. Ganglia自动化监控与运维管理系统的部署、配置，以及操作训练，监控Hadoop与Spark作业与任务执行的CPU，内存，硬盘，网络流量，忙/闲等运维操作 170. Nagios大数据平台的服务器监控管理，包括大数据平台的集群服务器节点的运行状态，大数据应用服务程序的监控等运维操作 |
|
十二、 大数据平台运维项目应用完整实践与咨询讨论 |
171. 根据讲师布置的实际应用案例，开展大数据运维项目的部署设计和方案实践、大数据运维项目的需求分析、应用实施以及解决方案分享咨询与交流讨论 |
本课程作为艾威培训2017年主打课程，已成功开展不下20期内训。
艾威国际培训(Avtech Institute of Technology)，源于美国，始于1998.专业从事企业级在职人员技能提升（项目管理、IT管理、IT技术、云计算大数据、需求管理、信息安全与审计，产品管理等培训）与各类国际认证考试提供商；进入中国16年来，已成为众多500强企业指定的培训供应商。
艾威国际培训(Avtech Institute of Technology)，源于美国，始于1998.专业从事企业级在职人员技能提升（项目管理、IT管理、IT技术、云计算大数据、需求管理、信息安全与审计，产品管理等培训）与各类国际认证考试提供商；进入中国16年来，已成为众多500强企业指定的培训供应商。
2017年艾威培训引入了更多国际最先进的课程。欢迎关注艾威公众号avtech888
本文来自于艾威培训，转载请注明：https://www.avtechcn.cn/news/qynx/2902.html
【艾威（中国）】简介：
艾威培训隶属于上海艾威信息科技有限公司，于2002年在上海建立办事处，2003年正式注册成立上海艾威信息科技有限公司并全面开展国内的培训业务，主要专注于职业认证培训与IT技术培训，致力于中国数字化管理人才与技术人才的培养。
艾威主要业务为培训业务与咨询业务两大类，目前培训的主要产品有：项目管理培训、IT管理培训、敏捷培训、业务分析与需求管理培训、企业架构培训、业务流程管理培训、数据管理与治理培训、信息安全培训、办公软件与多媒体培训、大数据与人工智能培训、虚拟化与云计算培训、数据库培训、软件开发培训等....近30给分类上百门的课程的培训与咨询服务。
艾威凭借引进国际领先的课程知识体系和多年积累的丰富教学经验，结合中国本土企业文化、实际需求，为企业、个人提供定制化的培训解决方案。艾威已服务了超过 10000 多家客户，获得了良好的口碑！已被众多 500强企业纳入培训供应商,如 HP，NOKIA，CISCO，INTEL，GE，华为，宝马，德电，通用，大陆汽车，中国银行，交行，工行，罗氏，赛诺菲，埃森哲……等。
- 2002年艾威成立上海办事处，并于2003年正式成立公司，开启全面培训业务
- 2002年成为思科Cisco授权培训中心
- 2003年成为Oracle授权培训中心
- 2003年成为国际项目管理协会PMI授权的全球(PMP,PGMP,ACP,PBA)教育机构
- 2005年成为国际需求管理协会IIBA授权的全球(ECBA,CCBA,CBAP)教育机构
- 2008-2015年成为100+家央企、国企、外企指定培训供应商（惠普、诺基亚、德电、罗氏、中国银行、交通银行、中国海关等）。
- 2015年艾威国际网校（edu.avtechcn.com）成立，引进数百门在线课程。
- 2016年成为国际信息审计协会ISACA授权的CISA,CISM,CRISC,CGEIT,COBIT教育机构。
- 2017年成为The Open Group授权的TOGAF企业架构的官方培训机构。
- 2017年成为APMG与国际外包专业协会(IAOP)授权的外包治理国际认证SGF(Sourcing Governance Foundation)教育机构。
- 2017年成为APMG与业务关系管理协会(BRMI)授权的BRMP、CBRM教育机构。
- 2018年成为PeopleCert授权ITIL、Prince2、MSP培训及考试机构。
- 2018年成为DRI授权CBCP培训及考试机构。
- 2019年成为亚马逊培训合作伙伴。
- 2019年成为国际云安全联盟CCSK授权培训合作伙伴。
- 2020年艾威数字化人才培训中心成立，并首创发布了艾威MDD数字化人才三角模型及8大能力培训体系。
- 2021年成为SAFe大规模敏捷认证官方培训机构。
- 2021年成为DAMA国际数据管理协会CDGA/CGDP/CDMP数据管理认证官方培训机构。
- 2022年艾威数字化人才培训中心成立一周年，进一步完善并升级“艾威MDD数字化人才三角模型及8大能力体系”为“艾威数字化人才18大能力罗盘”。
