【快班】Hadoop集群原理与运维实践_选课中心-炼数成金-Dataguru专业数据分析社区

首页 > 选课中心 > 分布式系统 > 【快班】Hadoop集群原理与运维实践

【快班】Hadoop集群原理与运维实践

此课程所属【大数据攻城狮专业】, 【hadoop大数据工程师职业方向】专业，报名专业套餐，可享受0元学习特惠！点击了解详情

随报随学	共12课	★★★
开课时间	课程周期	难易度

招生中

立即报名

课程介绍: Hadoop已经成为目前大数据处理的事实标准，各大互联网公司均在用Hadoop来作为数据平台的重要组成部分。在小规模数据量场景下，并不关心Hadoop集群的规划与性能问题，能用即可。然而，随着业务的增长和数据量的增长，在上百台甚至上千上万台集群规模、上PB的数据量下，如何合理的规划和使用Hadoop集群、如何优化集群发挥更高的效率，就显得尤为重要。

本课程将从Hadoop集群运维的角度着手，从零开始手把手规划、部署、安装、优化和管理集群，综合互联网一线大规模Hadoop集群运维的实践经验，更深入的剖析Hadoop集群原理，教授如何零基础构建更加高效、稳定、可扩展的大规模Hadoop集群。通过本课程的学习，有助于深入理解Hadoop原理，能够胜任PB级大规模Hadoop集群运维管理的工作。

课程大纲: 第一课.        预备知识
1.1.        大数据与Hadoop
1.2.        Hadoop发展历程与现状
1.3.        Hadoop的基本组成与原理

第二课.     集群部署前的准备
2.1.     硬件选型
2.2.     网络规划
2.3.     操作系统选型与配置
2.4.     Hadoop版本选型

第三课.     从零开始安装部署Hadoop集群
3.1.     伪分布式模式
3.2.     分布式生产环境部署
3.3.     节点规划
3.4.     集群安装部署HDFS
3.5.     集群安装部署MRv2和YARN
3.6.     Hadoop集群benchmark

第四课.     开始使用Hadoop集群
4.1.     Hadoop命令手册解读
4.2.     HDFS使用与权限
4.3.     MapReduce Job开发、运行与管理
4.4.     YARN管理

第五课.     Hadoop集群性能优化
5.1.     集群常用配置文件解读
5.2.     HDFS配置优化
5.3.     MapReduce配置优化
5.4.     YARN配置优化

第六课.     HDFS高可用配置
6.1.     NameNode HA
6.2.     HDFS Federation

第七课.     YARN高可用配置
7.1.     ResourceManager HA
7.2.     NodeManager Recovery

第八课.     Hadoop安全模式与权限控制
8.1.     Hadoop安全模式原理与架构
8.2.     Kerberos原理与Hadoop应用
8.3.     权限控制

第九课.     Hadoop集群管理
9.1.     HDFS权限规划和Quota管理
9.2.     HDFS扩容与故障节点处理
9.3.     HDFS Balancer
9.4.     HDFS FSCK
9.5.     HDFS distcp
9.6.     YARN Scheduler配置管理
9.7.     YARN扩容与故障节点处理
9.8.     集群版本升级与回滚

第十课.     Hadoop其他组件安装配置与管理
10.1.     HBase安装配置管理
10.2.     Hive安装配置管理
10.3.     Pig安装配置管理
10.4.     Spark安装配置与管理

第十一课.     Hadoop集群监控方案
11.1.     JMX监控
11.2.     Ganglia监控
11.3.     Nagios/Zabbix监控

第十二课.     Hadoop新版本特性概述与展望
12.1.     HDFS集中式缓存
12.2.     HDFS分级存储
12.3.     YARN Node Label
12.4.     YARN Timeline Server
12.5.     YARN Docker执行器
12.6.     Hadoop 3.0展望

授课讲师: 朱广彬，就职于国内一线某著名互联网安全公司，负责千台Hadoop集群、百亿流量的数据平台架构，关注大数据底层架构相关技术，致力于大数据处理技术在计算广告的应用，对Hadoop/Hive/HBase/Spark/Kafka等有深入的认识和实践经验。Hadoop Contributor、BDTC大会讲师。

课程环境: 真实生产Hadoop集群环境

授课对象: 面向Hadoop集群管理与运维人员，希望进一步了解Hadoop集群原理和从事大规模Hadoop集群运维管理工作的学员。

收获预期: 掌握Hadoop的基本原理，掌握Hadoop集群的规划安装部署，掌握Hadoop集群优化与管理，能够胜任大规模Hadoop集群运维管理的角色

课程学费: 学费：400元（固定学费：300元 + 逆向学费：100元）
新颖的课程收费形式：“逆向收费”约等于免费学习，课程收取300元固定收费 + 100元逆向学费，学习圆满则全额奖励返还给学员！

特别说明如下: 本门课程本来打算完全免费，某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动，为了防止一些朋友在学习途中半途而废，浪费了讲师的付出，为此我们计划模仿某些健身课程，使用“逆向收费”的方法。在报名时每位报名者收取400元，其中300元为固定收费，另外100元是暂存学费，即如果学员能完成全部课程要求，包括完成全部的书面作业，则100元全款退回。如果学员未能坚持到完全所有的学习计划任务，则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力！

课程授课方式

1、学习方式：老师发布教学资料、教材，幻灯片和视频，学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。

【快班】Hadoop集群原理与运维实践	立即报名
开课时间：随报随学课程周期：共12课难易度：★★★

授课老师

老师其他课程

课程所属专业

其他快班课程

专业相关课程

热招课程