本文共 659 字,大约阅读时间需要 2 分钟。
备注:NameNode HA : NameNode高可用 , HDFS Fedreation 分布式文件系统联盟 解决了1带的单点问题 Yarm 分布式资源管理系统,解决JobTrack单点问题 1. hadoop 1.x 版本的生态系统:
2. hadoop 2.x版本的生态系统:
对于分布式系统和框架的架构来说,一般分为两部分: 第一部分:管理层(用于管理应用层) 第二部分:应用层 (工作的) 对于HDFS,分布式文件系统: NameNode: 属于管理层,用于管理数据的存储 SecondNameNode:也属于管理层,用于辅助管理数据的存储 DateNode:属于 应用层 ,用户进行数据存储,被NameNode管理,定时向NameNode进行工作汇报,执行NameNode分配分发的任务 对于MapReduce,分布式计算框架: JobTrack : 属于管理层,用于管理集群的资源,对集群的任务资源进行调度,并监控任务的执行。 TaskTrack: 属于应用层,用于执行JobTrack分配分发的任务,并向JobTrack汇报执行情况。 对于hadoop 二代版本的yarm系统: NodeManager :属于管理层,节点管理 ResourceManager:属于管理层, 资源管理 DataNode:属于应用层,被 NodeManager 和 ResourceManager管理,执行任务。 转载于:https://my.oschina.net/zhangjie830621/blog/392079