DolphinScheduler 官方版 v1.3.4

软件介绍

DolphinScheduler提供工作流设计功能，可以通过这款软件帮助企业设计工作流，将各种工作计划导入到软件建立可视化的调度平台，从而让复杂的数据和工作流程更加清晰，让用户在管理工作的时候更加简单，所有流程定义作均可视化，直接在软件拖动相关的任务到软件绘制DAG，随后连接到数据库配置数据源和资源就可以建立工作流，同时对于第三方系统提供了api模式作，实现多对一或一对一的映关系，这对于调度大型数据作业非常重要，可以灵活配置一台机器上可调度任务的数量，当太多任务将被缓存在任务队列中时，不会造成机器阻塞!

DolphinScheduler软件功能

1、以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态

2、支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Pcess、Pcedure等

3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等作

4、支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败

5、支持工作流全局参数及节点自定义参数设置

6、支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑

7、支持任务志在线查看及动、在线下载志等

8、实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化

9、支持对Master/Worker cpu load，memory，cpu在线查看

10、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计

11、支持补数

12、支持多租户

13、支持国际化

DolphinScheduler软件特色

1、高可

分散的多主机和多工，HA自身支持，过载处理

2、方便使用

所有流程定义作均可视化，可视化流程一目了然，一键式部署即可定义关键

3、丰富的场景

支持暂停，恢复作。支持多租户。支持更多任务类型，例如，spark，hive，mr，shell，python，sub_pcess

4、高扩展

支持自定义任务类型，分布式计划，整体计划能力将随着集群规模线增加

DolphinScheduler使用说明

快速开始

管理员用户登录

地址：http：//192.168.xx.xx：12345 / dolphinscheduler 用户名和密码：admin / dolphinscheduler123

创建队列

创建租户

创建普通用户

创建一个警报组

创建一个工人组

创建一个令牌

以普通用户登录

单击右上角的用户名以“退出”，重新使用普通用户登录名。

项目管理->创建项目->单击项目名称

单击工作流程定义->创建工作流程定义->在线流程定义

运行流程定义->单击工作流程实例->单击流程实例名称->双击任务节点->查看任务执行志

DolphinScheduler作指南

1.家

主页包含用户所有项目的任务状态统计，过程状态统计和工作流定义统计。

2.项目管理

2.1创建项目

单击“项目管理”进入项目管理页面，单击“创建项目”按钮，输入项目名称，项目描述，单击“提交”以创建新项目。

2.2项目首页

单击项目管理页面上的项目名称链接以进入项目主页，如下图所示，该项目主页包含项目的任务状态统计，过程状态统计和工作流定义统计。

任务状态统计：在指定的时间范围内，将任务实例的数量计为成功提交，运行，准备暂停，暂停，准备停止，停止，失败，成功，容错，终止和等待线程

流程状态统计：在指定的时间范围内，将工作流实例的状态数计数为提交成功，正在运行，准备暂停，暂停，准备停止，停止，失败，成功，容错，杀死和等待线程

工作流定义统计：计算该用户创建的工作流定义以及管理员授予该用户的工作流定义

2.3工作流程定义

2.3.1创建工作流程定义

单击项目管理->工作流程->工作流程定义进入工作流程定义页面，单击“创建工作流程”按钮进入工作流程DAG编辑页面，如下图所示：

在工具栏中拖动将Shell任务添加到绘图板，如下图所示：

为此外壳任务添加参数设置：

1、填写“节点名称”，“描述”和“脚本”字段;

2、“正常”的“运行标志”。如果选中“禁止执行”，则工作流程运行时将不执行任务;

3、选择“任务优先级”：当工作线程数不足时，将首先在执行队列中执行高级任务，并以先进先出的顺序执行优先级相同的任务;

4、超时警报(可选)：超时警报，超时故障，并填写“超时时间”。当任务执行时间超过超时时间时，将发送警报电子邮件，任务超时失败;

5、资源(可选)。资源文件是在资源中心->文件管理页面上创建或上传的文件。例如，文件名是test.sh，脚本中调用资源的命令是sh test.sh;

6、自定义参数(可选)

7、单击“确认添加”按钮以保存任务设置。

增加任务执行的顺序：单击右上角的连接图标以连接任务;如下图所示，任务2和任务3并行执行，任务1完成执行后，任务2和3将同时执行。

删除依赖关系：单击右上角的“箭头”图标，选择连接线，单击右上角的“删除”图标，删除任务之间的依赖关系。

保存工作流程定义：单击“保存”按钮，将弹出“设置DAG图表名称”弹出框，如下图所示。输入工作流程定义名称，工作流程定义描述，并设置全局参数(可选，请参阅“自定义参数”)，单击“添加”按钮，工作流程定义已成功创建。

2.3.2工作流程定义作功能

单击项目管理->工作流程->工作流程定义以进入工作流程定义页面，如下所示：

工作流定义列表的作功能如下：

编辑：仅可以编辑“脱机”工作流程定义。工作流程DAG编辑与“创建工作流程定义”相同。

在线：工作流程状态为“离线”时，用于在线工作流程。只有处于“联机”状态的工作流程可以运行，但不能进行编辑。

离线：工作流程状态为“在线”时，用于离线工作流程。只能编辑处于“脱机”状态的工作流程，但不能运行。

运行：只能运行在线状态的工作流。有关作步骤，请参见2.3.3运行工作流程。

时间：只能在在线工作流程中设置时间，并且系统会自动安排工作流程以使其定期运行。创建计时后的状态为“脱机”，该计时必须在计时管理页面上在线才能生效。有关定时作步骤，请参见2.3.4工作流定时。

定时管理：可以编辑，在线/离线和删除定时管理页面。

删除：删除工作流程定义。

下载：将工作流程定义下载到本地。

树形图：以树形结构显示任务节点类型和任务状态，如下图所示：

2.3.3运行工作流程

单击项目管理->工作流程->工作流程定义，进入工作流程定义页面，如下图所示，单击“上线”按钮，上线工作流程。

单击“运行”按钮，弹出启动参数设置弹出框，如下图所示，设置启动参数，单击弹出框中的“运行”按钮，工作流开始运行，工作流程实例页面生成工作流程实例。

工作流程作参数说明：

* Failure strategy: When a task node fails to execute, other parallel task nodes need to execute the strategy. "Continue" means: after a certain task fails, other task nodes execute normally; "End" means: terminate all tasks being executed, and terminate the entire pcess.

* Notification strategy: When the pcess is over, the pcess execution information notification email is sent according to the pcess status, including any status is not sent, succesul sent, failed sent, succesul or failed sent.

* Pcess poty: The poty of pcess operation, divided into five lls: highest (HIGHEST), high (HIGH), medium (MEDIUM), low (LOW), and lowest (LOWEST). When the number of master threads is insufficient, high-ll pcesses will be executed first in the execution queue, and pcesses with the same poty will be executed in a first-in first-out order.

* Worker gup: The pcess can only be executed in the specified worker machine gup. The deflt is Deflt, which can be executed on any worker.

* Notification gup: select notification strategy||timeout alarm||when flt tolerance occurs, pcess information or email will be sent to all members in the notification gup.

* Recipient: Select notification policy||Timeout alarm||When flt tolerance occurs, pcess information or alarm email will be sent to the recipient list.

* Cc: Select the notification strategy||Timeout alarm||When flt tolerance occurs, the pcess information or warning email will be copied to the CC list.

* Complement: Two modes including seal complement and parallel complement. Seal complement: within the specified time range, the complement is executed sequentially fm the start date to the end date, and only one pcess instance is generated; parallel complement: within the specified time range, multiple days are complemented at the same time to generate N pcess instances.

例如，您需要填写5月1至5月10的数据。

串行方式：补码从5月1到5月10顺序执行，并在流程实例页面上生成一个流程实例。

并行方式：5月1至5月10的任务同时执行，并在流程实例页面上生成10个流程实例。

DolphinScheduler常见问题

问：这个项目叫什么名字?

答：在1.2版之前，项目名称称为EasyScheduler，在1.2版之前，其名称称为DolphinScheduler。

问：DolphinScheduler服务介绍和建议的运行内存

答：DolphinScheduler包含5个服务，MasterServer，WorkerServer，ApiServer，AlertServer，LoggerServer和UI。

问：pip install kazoo此安装出现错误。是否需要安装?

答：这是Zookeeper需要使用的python连接，用于删除Zookeeper中的主/工作临时节点。因此，如果您是首次安装，则可以忽略该错误。在1.3.0版之后，不再需要kazoo，我们使用程序来替换kazoo完成的作

问：如何指定机器运行任务

答：1.2版及之前版本，请使用管理员创建工作组，在流程定义启动时指定工作组，或在任务节点上指定工作组。如果未指定，则使用默认值，默认值是选择集群中所有工作程序之一以用于任务提交和执行。在1.3版中，您可以为设置工作组

问：任务的优先级

答：我们也支持流程和任务的优先级。优先级我们有最高，最高，中等，最低和最低五个级别。您可以在不同流程实例之间设置优先级，也可以在同一流程实例中设置不同任务实例的优先级

问：dolphinscheduler-grpc给出了错误

答：在根目录中执行：mvn -U clean package assembly：assembly -Dmaven.test.skip = true，刷新整个项目。1.3版不使用grpc，我们直接使用netty

问：DolphinScheduler是否支持在Windows上运行?

答：从理论上讲，只有Worker才需要在Linux上运行。其他服务可以在Windows上正常运行。但是仍然建议在Linux上进行部署。

问：UI会在Linux中编译node-sass提示符：错误：EACCESS：权限被拒绝，mkdir xxxx

答：分别安装npm install node-sass --unsafe-perm，再安装npm