数据中台：数据中台技术架构和大数据技术方案（下篇）

3. 基于大数据技术的数据资产管理平台

（1）统一标准的数据治理体系

   数据治理是数据中台建设过程中基础且重要的环节，数据治理三个核心要素包括数据标准管理、数据质量稽核、元数据管理。

   a. 数据标准管理一般基于国标数据元与编码标准建设，包括数据接入标准、命名标准、数据格式标准、数据安全标准、资源管理标签等多个方面。

   b. 数据质量稽核，通过数据质量管理工具从数据的完整性、一致性、唯一性等多个层面轻松实现对数据的全面稽核和预警。做到事前质量检查、事中运行监控、事后归纳总结，结合系统提供的全方位评估并提高数据质量，为决策者的提供参考并辅助决策。

   c. 元数据管理将数据资产用清晰直观的方式进行呈现，让数据资产真正被读懂、能利用，通过血缘分析和影响性分析，可以直观地了解到数据的来源、数据之间的关系、数据流向、数据被引用次数等重要信息，便于用户直观地把握数据资产状况。同时，提供全域数据的检索功能，让用户能快速找到、理解、应用数据，利用数据驱动业务。

（2）全链路数据生命周期管理

   数据生命周期管理是数据中台的核心步骤，所有的数据都应该经过一条标准的处理流程：采集、清洗、融合、分析挖掘、应用、归档、销毁等。流程中每个步骤都要有对应的工具，帮助数据开发者快速上手，这些工具包括：数据模型设计与开发、数据ETL（包括可视化工具与脚本工具）、工作流调度等，并通过一些智能化的方式帮助数据开发人员快捷地完成数据开发任务，进一步降低数据开发成本。

（3）面向分析挖掘的新型数据仓库

   数据中台需要的新型数据仓库不仅仅是结构化的、离线数据，还包括非结构化的、实时的业务数据。因此，还需要借鉴传统数据仓库的设计理念，构建一套既能管理全域业务数据、又能支撑上层应用需求的新型数据仓库。基于这套数据仓库，数据科学家可以方便地查找并使用各类业务数据，进行深层次的数据分析与挖掘。

   数据资产管理平台在数据中台中解决的关键问题就是实现数据资产化，也是现在数据中台建设过程中周期最长的一个环节，如何通过人工智能降低数据开发团队的人工成本，借助机器学习实现自动化、智能化的数据加工、挖掘也将是未来大数据领域最值得期待的新技术方向，也是数据中台发展过程中面临的最大挑战。

整体解决架构图

4. 数据挖掘分析平台

   数据挖掘分析平台架构在数据资产管理平台之上，可以为数据科学家、数据分析师提供稳定、高质量的跨主题数据资源、易用的分析工具集。数据挖掘分析平台可以支撑在大数据时代企业和政府在业务中的各种数据挖掘需求，例如以下几类。

（1）自然语言理解与处理

   利用机器学习、深度学习、深度迁移学习等技术，实现对分词词性标注、命名实体、情感分析、文本分类等。可快速从文档中抽取出知识，构建各种实体、映射关系，实现基于语义的深度理解并将信息知识化，支撑机器智能决策。

（2）基于动态知识图谱的智能标签管理

   动态知识图谱，是以本体论为方法论，对所属业务领域的数据进行分类、关联而构成的知识网络，用于支撑复杂的分析场景、知识发现与知识挖掘。其核心是构建了“实体-关系-标签”三个业务要素，其中实体包括：人、事、地、物、组织等。复杂业务场景下的的知识图谱，应用不同的存储介质存储多种不同类型数据，并且在数据融合之后还能将不同介质中的数据进行连接与关联，实现关联访问与挖掘的效果。

（3）交互式机器学习

   交互式机器学习包含数据导入、数据预处理、模型训练、模型评估、模型预测、模型发布、模型管理、任务管理，以及任务监控等一站式、全方位的从建模到上线的流程。内置丰富的算法模型，通过拖拽组件可视化建模的方式，降低科学建模的技术门槛，让数据科学家充分利用数据中台的数据资源快速打造智能业务。

   相较于大数据来说，基于机器学习的数据分析挖掘是个相对较新的领域，其面临的直接挑战则是场景化的业务落地，近几年是人工智能概念的热潮，用户要从热潮中冷静下来，分析自己的业务需求，再结合机器学习、深度学习方法来逐步解决业务问题，让人工智能真正的场景化、业务化。

金融管控中心后台

5、面向应用的主题式数据开放服务平台

   数据开放服务平台，目的在于打通数据中台与数据使用者（前台）间的数据通道，通过可视化方式实现数据API的创建、注册、发布、管理与运维。利用数据服务网关提供安全、高效、稳定的数据通道，包括服务监控、流量控制、用户鉴权、黑白名单等多个功能，并且提供负载均衡能力、多协议转换能力，加强原有API的服务能力。最后，按业务梳理数据资源目录结构，在资源目录中分类展示数据中台中可用的数据服务，让数据使用者可以有序的、清晰的浏览数据服务目录与详情，并申请与订阅数据资源。

   数据开放服务是数据资产对外输出的唯一出口，是数据驱动业务的直接通道。支撑内部、外部多个核心业务系统，其安全性是数据中台的核心任务。数据服务的安全机制包括：数据开放是否合法合规、服务访问认证体系、服务访问审计与访问追溯、数据泄漏应急机制等。

   综上所述，数据中台不仅仅是一套产品或者工具，数据生态的打造也不是短期就能完成的目标，须结合企业的自身业务实际情况来做整体规划，并按通用步骤依次建设。如果您需要数据中台开发服务，欢迎您咨询艾艺客服：17702199087（同微信），免费提供一站式数据中台开发方案。

点击>>在线咨询数据中台开发方案

详情请查看>>数据中台：数据中台技术架构和大数据技术方案（上篇）