From Andy at SuZhou sklcc.com
Overview
- 0x01 背景和简介
- 0x02 逻辑结构与基本概念
- 0x03 读、写、删、HA
- 0x04 其他细节
- 0x05 测试数据
- 0x06 结束语
背景和简介
GFS即Google File System,出自Google在SOSP(2003)的一篇论文《The Google File System》,为Google三宝之一,其余还有Map Reduce和Big Table,当前很火的Hadoop系统中的HDFS、MapReduce和HBase就是其开源实现。由于Hadoop离线批处理的性质以及其他缺点,Google于2014年6月发布其Google Data Cloud服务,该服务支持实时操作和更复杂的逻辑处理,并且效率也有提升。据说在Google公司内部,之后的代码都运行在这个新平台上。Spark为其开源实现。本质上说Spark仍旧是MapReduce和批处理,只是分的更小更细。另外,大数据的实时处理系统还有Storm。