Spark vs. MapReduce
Hadoop MapReduce局限性：
- 表达能力有限
○ 仅map和reduce函数，无法直接用join等操作
- 磁盘I/O开销大（单个job）
○ 输入、输出及shuffle中间结果都需要读写磁盘
- 延迟高（多个job）
○ 有依赖关系：job之间的衔接涉及IO开销(迭代计算）
○ 无依赖关系：在前一个job执行完成之前，其他job依然无法开始
Spark的改进
- 表达能力有限
○ 增加join等更多复杂的函数，可以串联为DAG
- 磁盘IO开销大（单个job）
○ 非shuffle阶段避免中间结果写磁盘
- 延迟高（多个job作为一整个job）
○ 将原来的多个job作为一个job的多个阶段
§ 有依赖关系：各个阶段之间的衔接尽量写内存
§ 无依赖关系：多个阶段可以同时执行
相比MapReduce，Spark具有如下优点：
- Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据集操作类型，编程模型比MapReduce更灵活
- Spark提供了内存计算，可将迭代过程中的结果放到内存中，对于迭代运算效率更高
- Spark基于DAG的任务调度执行机制，要优于Hadoop MapReduce的迭代执行机制
RDD 抽象
- Spark的核心是建立在统一的抽象RDD上的，使得Spark的各个组件可以无缝地进行集成，在同一个应用程序中完成大数据计算任务。
- Resilient Distributed Dataset（弹性分布式数据集）
- Resilient：具有可恢复的容错特性
- Distributed：每个RDD可分成多个分区，一个RDD的不同分区可以存到集群中不同的节点上
- Dataset：每个分区就是一个数据集片段
- RDD特性
- RDD只读，不能直接修改
§ 只能基于稳定的物理存储中的数据集创建RDD通过在其他RDD上执行确定的转换操作（如map、join和group by）而得到新的RDD
- RDD支持运算操作
§ 转换Transformation：描述RDD的转换逻辑
§ 动作Action：标志转换结束，触发DAG生成
□ 惰性求值：只有遇到行动操作时，才会发生真正的计算，开始从血缘关系源头开始，进行物理的转换操作
- RDD Lineage,即DAG拓扑结构
§ RDD读入外部数据源进行创建
§ RDD经过一系列的转换（Transformation）操作，每一次都会产生不同的RDD，供给下一个转换操作使用
§ 最后一个RDD经过“动作”操作进行转换，并输出到外部数据源
- RDD之间的依赖关系
- 窄依赖：
§ 表现为一个父RDD的分区对应于一个子RDD的分区，或者多个父RDD的分区对应于一个子RDD的分区
§ 典型的操作：map,filter,union
- 宽依赖：
§ 表现为存在一个父RDD的一个分区对应一个子RDD的多个分区
§ 典型的操作：groupByKey,sortByKey
- Join操作
§ 窄依赖： 对输入进行协同操作
□ 指多个父RDD的某一分区的所有“键”落在子RDD的同一个分区内，不会产生同一个父RDD的某一分区落在子RDD的两个分区的情况（如 a）
§ 宽依赖：对输入做非协同划分 （如b）
- 划分阶段
- spark分析各个RDD的偏序关系生成DAG，再通过分析各个RDD中的分区之间的依赖关系来决定如何划分Stage
- 具体划分方法：
§ 在DAG中进行反向解析，遇到宽依赖就断开
§ 遇到窄依赖就把当前的RDD加入到Stage中
§ 将窄依赖尽量划分在同一个Stage中，可以实现流水线计算 pipeline
- Stage类型
§ ResultStage
□ 输入/输出
® 其输入边界可以是从外部获取数据，也可以是另一个ShuffleMapStage的输出
® 输出直接产生结果或存储
□ 特点：
® 在一个Job里必定有该类型Stage
® 最终的Stage
体系结构：
- 架构设计
§ Master :管理整个系统
□ 集群资源管理器（Cluster Manager）
□ 资源管理器可以自带或Mesos或YARN
§ Worker：运行作业的工作节点
□ 负责任务执行的进程(Executor）
□ 负责任务执行的线程(Task)
§ Application：用户编写的Spark应用程序
§ Job：一个Job包含多个RDD及作用于相应RDD上的各种操作
§ Stage：一个Job会分为多组Task，每组Task被称为Stage，或者也被称为TaskSet
□ Job的基本调度单位
□ 代表了一组关联的、相互之间没有Shuffle依赖关系的任务组成的任务集
§ Task：运行在Executor上的工作单元
- 作业与任务
工作流程
- Spark Executor
- 与MapReduce相比，Spark所采用的Executor有两个优点：
§ 利用多线程来执行具体的任务，减少任务的启动开销
§ Executor中有一个BlockManager存储模块，会将内存和磁盘共同作为存储设备，有效减少IO开销
Shuffle vs. Pipeline
- Stage之间：shuffle
- Stage内部：流水线pipeline
容错机制
- Master故障
- Worker故障
○ Lineage机制
§ 窄依赖(narrow dependency)
□ 执行某个partition时，检查父亲RDD对应的partition是否存在
® 存在，即可执行当前RDD对应的操作
® 不存在，则重构父亲RDD对应的partition
§ 宽依赖(wide dependency)
□ 执行某个partition时，检查父亲RDD对应的partition是否存在
® 存在，即可执行当前RDD对应的操作
® 不存在，则重构整个父亲RDD
○ RDD存储机制
§ 血缘关系，重算过程在不同节点之间并行，只记录粗粒度的操作
□ RDD提供的持久化（缓存）接口
® persist()：对一个RDD标记为持久化
® 接受StorageLevel类型参数，可配置各种级别
® 持久化后的RDD将会被保留在计算节点的中被后面的行动操作重复使用
□ cache()
® 相当于persist(MEMORY_ONLY)
□ unpersist()
® 手动地把持久化的RDD从缓存中移除
○ 检查点机制
§ 前述机制的不足之处
□ Lineage可能非常长
□ RDD存储机制主要面向本地磁盘的存储
§ 检查点机制将RDD写入可靠的外部分布式文件系统，例如HDFS
□ 在实现层面，写检查点的过程是一个独立job，作为后台作业运行