Fork me on GitHub

Flink介绍

这是崔斯特的第一百零三篇原创文章

Flink读书笔记(一)

最近在看一本书,《Flink原理、实战与性能优化》,记录下重点。

Flink是什么

Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。

Flink优势

  1. 同时支持高吞吐、低延迟、高性能。Spark或Storm不能同时支持这三种。
  2. 支持事件事件(Event Time)概念。大多数框架仅支持系统时间(Process Time)。
  3. 支持有状态的计算。在流失计算中,将算子的中间计算结果保存在内存或磁盘中。
  4. 支持高度灵活的窗口(Window)操作。
  5. 基于轻量分布式快照(SnapShot)实现的容错。任务出现任务问题都可以从CheckPoints中自动恢复。
  6. 基于JVM实现独立的内存管理。Flink实现自身内存管理机制,通过序列化/反序列化将所有数据转化为二进制储存在内存中。
  7. Save Points(保存点)。Flink将任务执行的快照保存在储存介质上。(和第5点类似)。

Flink应用场景

  1. 实时智能推荐
  2. 复杂事件处理
  3. 实时欺诈检测
  4. 实时数仓与ETL
  5. 流数据处理
  6. 实时报表分析

Flink组件栈

Flink作为一个软件堆栈,是一个分层系统。堆栈的不同层相互叠加,并提高它们接受的程序表示的抽象级别:

  • 运行时层以JobGraph的形式接收程序。JobGraph是一个通用的并行数据流,其中包含使用和生成数据流的任意任务。
  • DataStream API和DataSet API都通过单独的编译过程生成JobGraphs。数据集API使用优化器来确定程序的最佳计划,而DataStream API使用流构建器。
  • JobGraph是根据Flink中可用的各种部署选项执行的(例如,本地、远程、Yarn等)
  • Connector层所能对接的技术更是丰富多样,将不同类型、不同来源的数据介入到Flink组件栈中。

Flink架构图

当 Flink 集群启动后,首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager,JobManager 再调度任务到各个 TaskManager 去执行,然后 TaskManager 将心跳和统计信息汇报给 JobManager。TaskManager 之间以流的形式进行数据的传输。上述三者均为独立的 JVM 进程。

  • Client 为提交 Job 的客户端,可以是运行在任何机器上(与 JobManager 环境连通即可)。提交 Job 后,Client 可以结束进程(Streaming的任务),也可以不结束并等待结果返回。
  • JobManager 主要负责调度 Job 并协调 Task 做 checkpoint,职责上很像 Storm 的 Nimbus。从 Client 处接收到 Job 和 JAR 包等资源后,会生成优化后的执行计划,并以 Task 的单元调度到各个 TaskManager 去执行。
  • TaskManager 在启动的时候就设置好了槽位数(Slot),每个 slot 能启动一个 Task,Task 为线程。从 JobManager 处接收需要部署的 Task,部署启动后,与自己的上游建立 Netty 连接,接收数据并处理。

可以看到 Flink 的任务调度是多线程模型,并且不同Job/Task混合在一个 TaskManager 进程中。虽然这种方式可以有效提高 CPU 利用率,但是个人不太喜欢这种设计,因为不仅缺乏资源隔离机制,同时也不方便调试。类似 Storm 的进程模型,一个JVM 中只跑该 Job 的 Tasks 实际应用中更为合理。