# 数据服务
# 概述
数据治理的服务套件,主要包括数据的采集、数据挖掘、实时计算、数据安全接口服务等,形成统一的服务管理能力
# 服务列表
以下是对数据服务模块的功能描述:
| 序号 | 服务 | 模块名称 | 备注 |
|---|---|---|---|
| 27 | 01. 主数据服务 | alinesno-infra-data-mdm | 提供主数据管理的功能,用于集中管理和维护组织中的核心数据。 |
| 28 | 02. 数据上报服务 | alinesno-infra-data-report | 提供数据上报的功能,用于接收和处理用户上报的数据。 |
| 29 | 03. 数据集成服务 | alinesno-infra-data-pipeline | 提供数据集成的功能,用于将不同数据源的数据进行整合和转换。 |
| 30 | 04. 数据开发服务 | alinesno-infra-data-dolphinscheduler | 提供数据开发的功能,使用DolphinScheduler进行数据的调度和处理。 |
| 31 | 05. 实时计算服务 | alinesno-infra-data-stream | 提供实时计算的功能,使用Flink进行流式数据的处理和分析。 |
| 32 | 06. 数据安全服务 | alinesno-infra-data-security | 提供数据安全的接口服务,包括数据加密、权限控制、访问审计等功能,确保数据的安全性和合规性。 |
| 34 | 08. 数据总线服务 | alinesno-infra-data-bus | 提供数据总线的服务,用于数据的传输和交换,支持异构系统之间的数据交互。 |
| 35 | 09. 数据资产服务 | alinesno-infra-data-assets | 提供数据资产管理的功能,用于管理和维护组织的数据资产,包括数据目录、数据词典、数据血缘等。 |
请注意,以上功能描述仅供参考,具体的功能和实现细节可能根据实际需求和系统架构进行调整。
# 功能架构
以下是数据服务的所有功能列表
| 序号 | 服务 | 模块 | 功能名称 | 功能描述 | 备注 |
|---|---|---|---|---|---|
| 27 | 01. 主数据服务 | 概述 | 仪盘表 | 提供主数据服务的仪表板功能。 | |
| 主数据管理 | 数据历史 | 记录主数据的历史变更信息。 | |||
| 目录历史 | 记录主数据目录的历史变更信息。 | ||||
| 业务系统 | 管理与主数据相关的业务系统信息。 | ||||
| 数据标准 | 管理主数据的标准定义和规范。 | ||||
| 数据目录 | 管理主数据的目录结构和层级关系。 | ||||
| 接口管理 | 调用统计 | 统计主数据服务的接口调用次数和频率。 | |||
| 接口日志 | 记录主数据服务的接口调用日志。 | ||||
| 接口管理 | 管理主数据服务的接口配置和权限控制。 | ||||
| 28 | 02. 数据上报服务 | 概述 | 仪盘表 | 提供数据上报服务的仪表板功能。 | |
| 数据上报 | 历史数据 | 记录数据的历史上报信息。 | |||
| 数据管理 | 管理上报的数据,包括查看、编辑和删除等操作。 | ||||
| 业务模型 | 定义上报数据的业务模型和字段规范。 | ||||
| 上报文件 | 上传和管理上报数据的文件。 | ||||
| 回收站 | 存放被删除的数据,可进行恢复或永久删除。 | ||||
| 数据分享 | 允许用户分享上报的数据给其他人或团队。 | ||||
| 配置管理 | 定时任务 | 配置定时上报任务的执行时间和频率。 | |||
| 上报异常 | 监控和处理数据上报过程中的异常情况。 | ||||
| 29 | 03. 数据集成服务 | 概述 | 仪盘表 | 提供数据集成服务的仪表板功能。 | |
| 监控管理 | 转换日志 | 记录数据转换过程中的日志信息。 | |||
| 作业日志 | 记录数据集成作业执行过程中的日志信息。 | ||||
| 转换监控 | 监控数据转换的执行状态和性能指标。 | ||||
| 作业监控 | 监控数据集成作业的执行状态和性能指标。 | ||||
| 任务管理 | 转换管理 | 管理数据转换任务的创建、编辑和删除等操作。 | |||
| 作业管理 | 管理数据集成作业的创建、编辑和删除等操作。 | ||||
| 任务分类 | 对任务进行分类和分组管理。 | ||||
| 服务配置 | 仓库配置 | 配置数据集成服务所需的数据仓库信息。 | |||
| 定时策略 | 配置数据集成任务的定时执行策略。 | ||||
| 30 | 04. 数据开发服务 | 概述 | 仪盘表 | 提供数据开发服务的仪表板功能。 | |
| 应用首页 | 展示数据开发服务的应用首页。 | ||||
| 项目管理 | 项目列表 | 管理数据开发项目的创建、编辑和删除等操作。 | |||
| 工作流定义 | 定义数据开发的工作流程和任务依赖关系。 | ||||
| 工作流实例 | 监控和管理数据开发工作流的执行实例。 | ||||
| 任务实例 | 监控和管理数据开发任务的执行实例。 | ||||
| 任务定义 | 定义数据开发中的具体任务和逻辑。 | ||||
| 参数 | 内置参数 | 管理数据开发中的内置参数。 | |||
| 全局参数 | 管理数据开发中的全局参数。 | ||||
| 本地参数 | 管理数据开发中的本地参数。 | ||||
| 参数传递 | 在任务之间传递参数的配置和管理。 | ||||
| 参数优先级 | 配置和管理数据开发中参数的优先级。 | ||||
| 数据源中心 | 数据源中心 | 管理数据开发所需的数据源信息。 | |||
| 告警 | 告警 | 配置和管理数据开发的告警规则和通知方式。 | |||
| 资源中心 | 配置详情 | 查看和管理数据开发所需的资源配置信息。 | |||
| 文件管理 | 管理数据开发过程中的文件和附件。 | ||||
| UDF 管理 | 管理数据开发中的自定义函数。 | ||||
| 任务组管理 | 管理数据开发任务的分组和分类。 | ||||
| 监控中心 | 监控中心 | 监控数据开发任务和工作流的执行状态和性能指标。 | |||
| 安全中心 | 安全中心 | 配置和管理数据开发服务的安全设置。 | |||
| 指标相关 | 指标 | 定义和管理数据开发中的指标。 | |||
| 31 | 05. 实时计算服务 | 概述 | 仪盘表 | 提供实时计算服务的仪表板功能。 | |
| 运行配置 | 系统配置 | 配置实时计算服务的系统参数和运行环境。 | |||
| 二方库管理 | 管理实时计算任务所需的二方库依赖。 | ||||
| 任务管理 | 任务列表 | 管理实时计算任务的创建、编辑和删除等操作。 | |||
| 任务日志 | 记录实时计算任务的执行日志和运行状态。 | ||||
| 历史版本 | 管理实时计算任务的历史版本和回滚操作。 | ||||
| 保存点 | 管理实时计算任务的保存点和恢复操作。 | ||||
| 告警日志 | 记录实时计算任务的告警信息和通知方式。 | ||||
| 32 | 06. 数据安全服务 | 概述 | 仪盘表 | 提供数据安全服务的仪表板功能。 | |
| 功能列表 | 服务管理 | 管理数据安全服务的各项功能和服务。 | |||
| 负载管理 | 管理数据安全服务的负载均衡和性能优化。 | ||||
| 客户端管理 | 管理数据安全服务的客户端访问权限和安全性。 | ||||
| IP黑名单 | 管理不信任的IP地址列表,限制访问数据安全服务。 | ||||
| 接口统计 | 统计数据安全服务的接口调用次数和频率。 | ||||
| 接口监控 | 监控数据安全服务的接口运行状态和性能指标。 | ||||
| 34 | 08. 数据总线服务 | 概述 | 仪盘表 | 提供数据总线服务的仪表板功能。 | |
| 功能列表 | 应用管理 | 管理应用的配置信息,包括创建、编辑、删除应用等操作。 | |||
| 业务线(主题) | 管理业务线或主题的配置信息,包括创建、编辑、删除业务线等操作。 | ||||
| 消息管理 | 管理事务消息的发送和接收,包括消息的发布、订阅、重试等操作。 | ||||
| 请求记录 | 记录事务消息服务的请求信息,包括请求时间、请求参数、请求结果等。 | ||||
| 消息模板 | 管理事务消息的模板,包括创建、编辑、删除模板等操作。 | ||||
| 异常消息 | 查看和处理发送失败或接收失败的异常消息。 | ||||
| 消息配置 | 配置事务消息的相关参数,包括消息的超时时间、重试次数等。 | ||||
| 35 | 09. 数据资产服务 | 概述 | 仪盘表 | 提供数据资产服务的仪表板功能。 | |
| 资产管理 | 资产类型 | 管理数据资产的不同类型和分类。 | |||
| 资产导航 | 提供数据资产的导航和搜索功能。 | ||||
| 资产编目 | 对数据资产进行编目和分类管理。 | ||||
| 资产集成 | 集成资产 | 将外部数据资产集成到数据资产服务中。 | |||
| 数据模型 | 资产仓库 | 存储和管理数据资产的模型和定义。 | |||
| 质量规范 | 管理数据资产的质量规范和标准。 | ||||
| 模型管理 | 管理数据资产的模型和定义。 | ||||
| 数据服务 | 接口分类 | 对数据资产服务的接口进行分类管理。 | |||
| 接口管理 | 管理数据资产服务的接口配置和权限控制。 | ||||