建设大数据@@平台@@@@@@，从@@“治理@@”数据@@谈起@@_理论基础@@_ob体育官网

二@@、如何面向用户开展大数据@@治理@@@@@@？

1、面向用户的大数据@@治理@@@@实践案例@@

很多企业经过一段时间的摸索@@，已经看到了用户对大数据@@治理@@@@的这种需求@@@@，大数据@@治理@@@@也持续在各行业的大数据@@平台@@@@建设中得到关注@@@@。

在我参与过的项目中给大家举个例子@@。最近普元主导了某电力公司的新一代数据@@治理@@@@平台@@建设@@，我们融合该电力公司现有的数据@@管理工具建设成果@@，以元数据@@为基础@@，实现了贯穿数据@@设计@@、产生@@、存储@@、迁移@@、使用@@、归档等环节的数据@@全生命周期管理@@，以及数据@@从@@源端到数据@@中心@@，再到应用端的全过程的管理@@，做到了以用户为中心@@@@，通过大数据@@治理@@@@@@，为用户提供了更便捷@@、更灵活@@、更准确地获得企业大数据@@资产@@的能力@@。

该电力公司的大数据@@治理@@@@的起点是先以元数据@@为基础@@@@，构建数据@@资产@@管理@@体系@@。从@@用户的视角说明白企业数据@@有哪些@@，哪些用户能够使用@@@@。在该电力公司的数据@@资产@@定义过程中@@，我们选择了贴近业务用户的数据@@分类方案@@，梳理@@和识别企业运营数据@@资源@@。

我们又基于第@@一步形成的数据@@分类管理体系框架@@，梳理@@、整合各级各类数据@@资源@@，建立了数据@@资产@@树@@，按照不同数据@@细类制定相应的工作模板@@，对指标数据@@和明细数据@@进行梳理@@和归并@@。

所有资产梳理@@和控制的最终目标都是为了用户能够使用@@数据@@@@，我们通过@@L0–L1–L2三@@个层次@@的定义@@，以业务驱动为导向提高数据@@查询的实用性@@。

L0：按照电网业务域@@–业务主题@@–业务活动的结构化方法@@，对查询进行分类导航@@@@。

L1：依据业务和数据@@源中数据@@资源情况@@，按业务主题@@对数据@@进行预处理和定义@@。

L2：将数据@@库@@表字段等技术元数据@@转换为业务人员@@可以理解的业务元数据@@@@。

我们通过@@梳理@@数据@@@@、管理数据@@@@、提供数据@@@@、关联业务@@，形成了一整套以用户为中心@@的大数据@@治理@@@@能力@@，最终为用户直接使用@@数据@@提供了帮助@@，从@@而使数据@@治理@@@@完成了从@@以管控为中心到以业务为中心的转变@@。由于受限于篇幅这里不过多描述@@。

2、面向用户的大数据@@治理@@@@的四@@个阶段@@

面向用户的大数据@@治理@@@@该如何做@@，我们总结@@了四@@个阶段@@。

第@@一阶段@@：全面梳理@@企业信息@@，自动化构建企业的数据@@资产@@库@@

在第@@一阶段@@@@，主要是对企业大数据@@的梳理@@@@，从@@而全面掌握企业大数据@@的情况@@，主要有以下三@@个方面@@：

梳理@@全企业数据@@架构@@，对企业的数据@@模型@@@@@@、数据@@关系@@@@、数据@@处理有清晰化的认识@@。
对数据@@资产@@形成统一的自动化管理@@，形成企业的元数据@@库@@@@。
对企业数据@@资产@@形成多种视图@@，使数据@@资产@@能够让不同用户@@，有不同视角的展示@@。

第@@二@@阶段@@：建立管理流程@@，落地数据@@标准@@，提升数据@@质量@@

在第@@二@@阶段@@@@，需要建立大数据@@管控@@能力@@，包括从@@业务的角度梳理@@企业数据@@质量问题@@，形成质量控制能力@@，形成核心数据@@标准@@，并抓标准落地@@。针对关键问题@@，建立数据@@的管理流程@@，少而精@@，控制核心问题@@。

在这个阶段主要是为数据@@部门形成一套管理大数据@@的能力@@，同时为数据@@部门形成数据@@管理的工作环境@@。

第@@三@@阶段@@：直接为用户提供价值@@，向用户提供数据@@@@微服务@@

通过前两个阶段@@，企业能够建立基本的数据@@治理@@@@的能力@@，在此基础上@@，还需要以用户为中心@@@@，为用户提供直接获取数据@@的能力@@。第@@三@@阶段@@依赖于前两个阶段能力的建设@@，在这个阶段的目标是向用户提供自助化的数据@@服务@@，使用@@户能够自助地获取和使用@@数据@@@@，并且在用户的使用@@过程中再反过去进一步落地标准@@、控制质量@@。

第@@四@@阶段@@：智能化企业知识@@图谱@@，为全企业提供数据@@@@价值@@

最后一个阶段是将数据@@沉淀成为知识@@@@，形成企业的知识@@图谱@@，提供从@@@@“关系@@”的角度去分析问题的能力@@。

人进行数据@@搜索@@是通过业务术语@@（知识@@）来搜索@@的@@，而知识@@之间是有相互联系的@@，例如水果和西红柿是上下位关系@@@@（后者是前者的具体体现@@），好的搜索@@除了要列出直接结果@@，还需要显示与之关联的知识@@@@，这就要建立知识@@图谱@@。简单说知识@@图谱就是概念@@、属性以及概念之间的关联关系@@@@，这个关系@@可以手工建立@@，也能通过自然语言处理@@等方法@@，对政策@@、法规@@、需求@@、数据@@库@@comments、界面等多种来源@@进行分析@@，自动化建立起企业知识@@图谱@@。从@@而使数据@@治理@@@@成为整个企业的数据@@工作环境@@，强化企业数据@@与知识@@体系之间的关联@@，加快企业员工数据@@与知识@@之间的转换效率@@，让数据@@的深层价值得以体现@@。

通过这四@@个阶段的建设@@，使数据@@治理@@@@平台@@由数据@@部门的工作环境@@，转变成为全企业的数据@@工作环境@@，以用户为中心@@，让用户能够直接使用@@大数据@@@@，并通过用户的使用@@来管理数据@@@@@@，持续优化数据@@质量@@，在达到治理@@数据@@目标的同时@@，也最大限度发挥了数据@@的价值@@。

三@@、面向用户的自服务大数据@@治理@@@@架构@@@@

1、自服务大数据@@治理@@@@架构@@

以用户为中心@@的自服务大数据@@治理@@@@技术架构包括五部分@@：数据@@资产@@管理@@、数据@@监控管理@@、数据@@准备@@平台@@@@、数据@@服务总线@@，消息@@与流数据@@管理@@@@。

整个平台@@分为五块核心能力@@：数据@@资产@@、数据@@准备@@、数据@@服务总线@@、消息@@&流数据@@管理@@、数据@@监控管理@@。

数据@@资产@@管理@@是对企业数据@@信息统一管理也是整个平台@@的基础@@，数据@@准备@@平台@@@@是资产服务化的加工厂@@，它不但能将原始数据@@通过服务形式以用户能看懂的方式提供@@，也可以通过在线数据@@模型@@@@设计实现最终数据@@产品的发布@@，起到承上启下的作用@@。

数据@@服务总线@@和消息@@@@&流数据@@管理@@的价值层次@@是一致的@@，只是从@@数据@@时效性上面对数据@@进行了区分@@，去适应用户不同的管理和应用诉求@@。起到数据@@通道和安全管理两个核心内容@@。

数据@@监控管理@@有别于大数据@@中的数据@@节点管理@@，而是从@@数据@@管理的视角切入对数据@@的结构的变化@@、关系@@的变化进行管理和控制@@，它是数据@@持续发挥价值的监管者@@。

2、自服务大数据@@治理@@@@的关键技术@@

（1）人工智能的知识@@图谱构建@@

主要有三@@个步骤@@：

基于企业元数据@@信息@@，通过自然语言处理@@、机器学习@@、模式识别等算法@@，以及业务规则过滤@@，实现知识@@提取@@；
以本体形式表示和存储@@知识@@@@，自动构建起资产知识@@图谱@@；
通过知识@@图谱关系@@@@，利用智能搜索@@@@、关联查询手段@@，为最终用户提供更加精确的数据@@@@。

（2）细粒度的敏感信息控制@@

数据@@内容安全管理包括对@@IT系统和数据@@进行敏感度等级划分的定义@@、浏览@@、检核@@，辅助安全规则在业务@@、技术领域的应用@@。从@@功能上包括数据@@敏感性分级@@、系统敏感性分级@@，数据@@安全策略定义管理@@，安全策略输出@@，安全管理报告@@，数据@@安全检核@@@@，敏感数据@@角色管理@@，敏感数据@@权鉴管理及相关电子审批流程@@。

（3）自助化的大数据@@服务生产线@@

这里有@@4个关键点@@：

自助查询到想要的数据@@@@；
自动生成数据@@服务@@；
及时稳定的获得数据@@通道@@；
数据@@安全有保证@@。

通过自助化的数据@@生产线@@，数据@@使用@@方@@（业务人员@@）大大减少了对开发人员的依赖@@，80%以上的数据@@需求@@@@，都能通过自己进行整合开发@@，最终获取数据@@@@。让所有用数据@@的人能方便得到想要的数据@@@@。

（4）多维度实时的数据@@资产@@信息的展示@@

数据@@治理@@@@平台@@提供实时@@、全面的数据@@监控@@，不仅能从@@作业@@、模型@@、物理资源等各方面进行全面的数据@@资产@@盘点@@，还能对数据@@及时性@@、问题数据@@量等方面的数据@@健康环境进行全面的预警@@。

（5）以业务元模型@@为核心的数据@@微服务@@

数据@@需要以服务的形式提供给最终用户@@，在服务的提供上不能再采用传统的方式@@，而需要用微服务的方式提供@@，每个单独数据@@微服务自己对所提供数据@@@@做缓存@@，在其中利用元数据@@能力@@，把知识@@@@（业务模型@@@@）与技术@@（数据@@模型@@@@）相结合@@，从@@而向最终数据@@用户提供多种数据@@能力@@，使用@@户能够以多种方式使用@@数据@@@@。