250321-大数据

大数据

特点 5V

• 大规模
• 高速化
• 多样化
• 价值性
• 真实性

步骤 （OLAP）

• 数据获取/记录
• 信息抽取/清洗/标注
• 数据集成/聚集/表现
• 分析/建模
• 解释(业务专家)

挑战

• 数据获取问题
• 数据结构问题
• 数据集成问题
• 数据分析、组织、抽取、建模
• 数据呈现

Lambda 架构

• 批处理层 hdaop
• 加速层 spark
• 服务层 Hbase
  
  

Kappa 架构

取消批处理层

架构对比