Hadoop的主流发行版有Apache Hadoop、Cloudera的CDH、Hortonworks的HDP等。Cloudera是基于Apache Hadoop的软件和服务的领导者。它的Hadoop发行版——Cloudera’s Distribution including Apache Hadoop,简称CDH。CDH是100%开源的企业级Hadoop发行版。它也是久经考验,被广泛部署的一种Hadoop发行版。它集成了所有主要的Hadoop生态系统项目。
Cloudera Manger (CM)是一款优秀的Hadoop集群管理工具。它是一个为了满足企业级用户需求而设计的应用程序,可以自动部署Hadoop的服务,可以管理多个大规模的Hadoop集群(规模可以达到成百上千个节点)。使用CM,用户可以方便并快速地诊断和解决问题。CM还能够监控Hadoop服务的健康情况以及各主机的性能指标,并且及时发送警报。
0. 虚拟机的安装和使用
1. CDH简介
2. Cloudera Manager(CM)简介
3. 重点介绍如何使用CM在3台虚拟机上来安装CDH集群
3.1 实验的环境
3.2 Linux系统配置(3台虚拟机的Linux系统配置有一些是相同的,每个节点都要设置一遍,为了降低工作量,先在一台虚拟机上完成这些Linux系统配置)
3.3 利用这台虚拟机,克隆出另外2台虚拟机
3.4 集群网络配置
3.5 安装CM(Cloudera Manager Server和Cloudera Manager Agent)
3.6 安装CDH集群
3.7 测试CDH集群
4. 下一阶段的学习推荐
实验物理机的配置要求:
内存:12G以上
CPU:8核以上( i7 8核)
硬盘:空闲空间60G以上
网络:要求能上网即可
虚拟化软件:VirtualBox
1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、 学习作业:每课均有布置课后作业,学员完成书面作业后则可进入下一课学习。
3、 老师辅导:通过论坛站内信及邮件等多种方式与老师进行一对一互动。
4、 完成课程:最后一课作业交纳后,老师完成作业批改,即可完成课程并取回相应剩余的逆向学费。
GMT+8, 2024-10-31 09:13 , Processed in 0.052971 second(s), 23 queries .