魔镜调度系统时序图
热门
在线数据挖掘系统架构设计
{node_id or none,调度
scheduler,FailStore,循环,主动回报结果,执行到此处,通知结果(回调),重试(回调失败),构建拓扑图,状态:成功 or 失败
结果:hive表meta,1、拓扑与调度集成一个系统,合称调度系统,支持实时调度、定时调度、拓扑依赖调度等功能;
2、调度系统与数据相互持有jar包,调度系统持有数据jar,实现数据计算接口和结果查询接口。数据持有调度系统jar,实现结果主动上报功能;
3、魔镜webserver不持有任何jar,实现解耦合;,服务端
webserver,创建拓扑,具体算法信息
算法参数等,拓扑ID,执行拓扑,创建调度任务,调启数据计算,查看执行状态,数据
mojing-data,拓扑
topology,取第1个节点信息,检查结果,return,用户
user}