查ICP網:全新的綜合網站備案信息查詢網
Copyright ? 2008-2028 www.mshuangcha.com [ 查icp] All Rights Reserved.
hadoop三大組件:
1、HDFS
一個高可靠、高吞吐量的分布式文件系統
存儲海量數據
分布式
安全性
副本數據
數據是以block的方式進行存儲的,128M
比如:200M—128M 72M
2、MapReduce
一個分布式的離線并行計算框架
對海量數據的處理
分布式
思想:
分而治之
大數據集分為小的數據集
每個數據集進行邏輯業務處理(map)
合并統計數據結果(reduce)
3、Yarn
分布式資源管理框架
管理整個集群的資源(內存、CPU核數)
分配調度集群的資源