数据集成平台---ESHUI DI

        数据集成平台解决方案(ESHUI DI)是设计、调度、数据抽取、清洗、转换、装载于一体的数据集成平台,以最小的代价将日常业务操作数据转换为面向主题的数据仓库数据,保证数据的通用性、可靠性、高性能性、易用性、扩展性。

ESHUI DI产品架构示意图:

 


        ESHUI DI由DIP、DIN和DID三部分,把不同来源、不同格式、不同特点数据通过ESHUI DI有机的整合并加工成统一的数据格式,加载到数据仓库中,供商业智能(Business Intelligent,BI)等应用使用。

 ESHUI DIP
        调度监控平台,调度各个节点服务器上已定义的流程,监控管理流程运行,支持流程的启动、暂停、回复和停止,具体功能如下:
1、支持节点服务器(DIN)注册,同时可管理多个节点服务器;
2、支持流程设计器(DID)设计流程的注册;
3、支持动态参数和静态参数的定义;
4、任务支持手动和自动两种启动模式,手动需要人工触发,自动提供多种定时策略,包括   日、周、月、工作日、 时、分、秒等,通过对任务定时启动可实现作业的循环自动运行;
5、多任务的并发运行; 
6、支持任务的启动、暂停、恢复运行和停止等控制;
7、日志管理包括任务的执行情况,包括开始时间、执行状态、完成时间和流程运行过程信息,过程信息根据日志级别显示,记录流程、转换的输入输出信息。
  
ESHUI DID
        ESHUI DID通过简单直观的图形界面来设计ETL的过程,是一个集流程开发、步骤开发、预览、调试、执行、监控、日志、资源管理等功能于一体的平台。通过该平台设计实现数据的抽取、转换及加载过程。
1、 开发(流程和步骤的开发)
    ESHUI DID提供大量的流程组件和转化组件,通过这些组件,以图形化的方式,通过拖拽的方  式,快速实现数据ETL过程。
2、 预览
    查看整个流程或转换的整个过程和数据流向。
3、 调试
    提供丰富的调试工具,跟踪和观察各个组件每一行数据输入输出情况,以及整个流程的加工处理情况。
4、 执行
    运行设计完成的流程或转换。
5、 监控
    对运行中的流程执行暂停、开始、停止、等控制,同时还可以对数据处理状态进行实时监控,包括每个组件处理的记录数、过滤的记录数,并且可以得到每个组件处理数据的性能指标和整个集成流程的性能指标。
6、 日志
    根据日志级别,记录流程或转换每个组件的处理过程。
7、 资源管理
    资源库用于持久化存储流程信息、数据库信息、基础资源信息等元数据。通过ESHUI DID工具开发调试完成的成流程保存到资源库中统一管理,备ESHUI DIN加载调用。

ESHUI DIN
        ESHUI DIN服务节点是一个流程执行的逻辑节点,负责流程的执行,通过HTTP协议对外开放对服务器的管理接口,多个节点服务器设定不同的端口,可以部署在同一台计算机。
1、 资源加载
    节点服务器启动时,自动加载资源库的流程,将流程信息加载到缓存中,等待调度监控平台调用。
2、 执行引擎
    执行引擎负责流程的执行,该功能通过HTTP接口对外开放,调度监控平台通过接口调度流程的执行和入参。
3、 监控引擎
    监控引擎提供流程运行时的监控和管理功能,这些功能都通过HTTP接口对外开放。通过开放接口,可以实现对服务器节点的远程管理,如流程加载、流程监控、转换监控、日志查看等功能。
4、 授权认证
    节点服务器提供了认证授权机制,只有通过认证和授权的用户,才可以通过监控管理接口实现对节点服务器的流程执行和监控。