四川中烟2021年企业级数据中台建设项目——数字中台基线版本相关基础能力建设补遗公告

产品

容量规划

技术要求

大数据计算服务

★提供至少900个处理单元、700TB存储容量的结构化的大数据存储和离线计算能力。

1)  提供完整RESTful API的方式提供离线数据处理服务，提供JAVA SDK， Python SDK，等编程接口，支持JDBC接口等系列用户开发工具和接口。

2)  提供离线任务管理、监控告警的功能，任务运维管理支持两种模式可供用户选择，包括列表模式和DAG模式。监控告警是调度任务的监控保障系统，支持基线告警和自定义告警两种方式。当任务出现错误或者延迟产出的时候，系统会通过预定义的方式告知用户任务状态。用户可以按照自己定义的规则来配置告警规则。

3)  支持MapReduce类型的分布式计算任务，支持DAG模式的作业处理方式。

4)  支持作业优先级设置功能，可支持9级优先级设置，在作业任务资源分配优先级上进行细粒度控制。

5)  支持多种计算框架如SQL， MapReduce， Spark ，Graph。

6)  ▲支持超大规模的MapReduce计算，可支持最大Mapper个数为10万，最大Reduce个数为1000，最大Join个数1万，需提供权威机构测评报告。

7)  ▲单集群可支持项目空间不少于300PB数据量；单表可支持不少于10PB数据量, 单表可支持超过50000个分区。需提供权威机构测评报告。

8)  ▲最高可支持单表万亿条记录的多表关联分析；单个项目空间可支持不少于 40000张表，需提供权威机构测评报告。

9)  ▲用户服务实例和资源管理基于项目空间隔离，可支持不少于10000个用户项目空间。需提供权威机构测评报告。

10) ▲超大规模节点调度能力，具备30000节点以上调度能力。为保证大数据集群具有高可扩展性。需提供权威机构测评报告。

11) 支持原生Apache Spark编程接口，用户可以使用Spark接口进行编程处理存储在大数据计算服务中的数据。

12) 遵循SQL92规范并做了优化与提升，做到SQL可编程化，编程模型的扩展和增强。

13) ▲采用分布式计算框架提供大规模数据存储与计算，可按需扩容。大数据计算平台能力单集群可达到10000台物理服务器并行作业，同一套服务支持调度多集群，需提供权威机构测评报告。

14) ▲支持高效数据压缩存储，压缩效率和数据格式相关，最低压缩比为3，对冷数据支持归档操作，可节约存储约50%。

15) 支持分区级别的数据生命周期管理功能，过期数据系统自动清理。

16) 具备完善的权限认证与隔离机制，保障用户数据的私密性，支持多粒度的数据授权访问；针对高敏感数据可设置数据保护模式避免数据流出，限制用户项目空间project内数据流出。

17)支持标准加密算法AES、国密算法SM4的加密能力，支持服务自动生成加密密钥方式和用户自定义加密密钥方式。

数据管理开发平台

1)  ▲能够基于元数据构建数据图谱，实现数据表及数据简单且快速的智能检索。

2)  ▲能够系统化构建业务数据资产大图，数据视角还原业务系统、提取业务数据知识，并快速提炼业务关键环节及数据，让数据资产以全景图的方式清晰易读地呈现。

3)  能够高效且自动化实现元数据抽取，结合规范定义与数据建模的前置研发动作，自动化、标准化、系统地构建规范可读的业务化数据目录，形成详细的数据地图，方便业务查找及应用。

4)  自动语义优化：支持针对可以复用的语义进行生产代码自动优化；如某字段类目变化，语义优化功能会将数据自动统计到对应类目中。

5)  自动进行数据倾斜优化：支持自动数据倾斜优化功能，在任务执行中支持触发异常判定功能、同步调度数据探查，可定位到出现问题的数据。支持自动对执行中的任务代码进行重构、规避数据倾斜且平台会完成记录为后续发生数据倾斜提供判断。

6)  ▲产品能提供SDK和Restful API 调用方式方便调用和数据集成。

7)  产品集成数据服务功能，能够提供定义即服务的方式，使研发构建的业务主题式数据逻辑表可被直接、快速地查询和访问；提供图形化配置界面满足主题式查询功能，产品必须提供有效的全链路企业内API生命周期托管，能通过配置化设置提供数据的对外服务。

8)  ▲产品支持以业务视角进行逻辑建模，并在逻辑模型发布后，根据逻辑表定义信息实现最终的代码自动化生成，降低对大数据开发人员的专业技术门槛。

9)  基于数据建模研发沉淀的数据，提供以目标对象为中心的数据打通和深度挖掘，并生成代码与调度任务，完成实体对象识别、连接及标签生产，可快速应用于各类业务。

10) 提供通用的数据萃取功能，提供标签可视化配置工作台，可自动化生成标签，并对配置中、生产中的标签任务进行修改、优化和下线等管理操作。

11) 数据研发支持实时计算任务，产品能支持实时计算引擎Flink并创建Flink_SQL、FLINK_TEMPLATE_SQL类型的实时计算任务，支持实时计算模板和实时计算任务。

12) ▲满足数据安全管理需求，面向数据从产生到销毁的全生命周期，提供数据访问控制与隔离，保障数据安全。

13) 能够基于组件化理念，对指标的统计逻辑进行组件化定义，用户可通过自由组装实现统计指标研发、系统代码自动生成。

14) 能够基于维度建模理论，对维度、业务过程、指标等进行严格的标准化、规范化定义，提升数据业务语义，保障数据质量，降低数据二义性。

15) 除自动化生成代码外，还应提供编码研发、自由编码的能力。提供编码编辑器，满足代码研发的需求。

16) 可以对数据计算及存储资源的消耗进行分析，全局把控计算与存储成本。数据治理包括资源管理、治理概述、治理工作台、治理项管理、回收站。面向当前登录用户，根据其所参与和所负责的项目提供健康分。

17) 能够在字段粒度数据上进行查询权限控制，满足常见精细化数据权限控制需求。

18) 提供业务板块及数据域定义维护及权限控制、公共定义的全局性统计周期设置与管理。产品能提供图形化交互方式对数据中台业务板块及数据域设置，实现业务板块和项目及数据域的关联。

19) 能够提供多数据源的接入与管理，提供数据同步功能，能够完成不同数据存储结构/协议之间的转换。