摘要@@：随着物联网@@、大数据@@@@等@@@@IT技术的快速发展@@, 产生了大量多源异构的数据@@@@, 但这些数据@@往往是各自为政@@、孤立存在@@@@, 数据@@中蕴藏的知识和价值不能得到有效释放@@。首先分析了工业@@大数据@@@@的现状和特性@@, 针对大数据@@@@时代的数据@@应用@@挑战@@, 提出元数据@@@@驱动的大数据@@@@服务平台@@@@的体系结构@@, 利用元数据@@@@实现数据@@标准化管理@@@@, 并驱动合适粒度的数据@@服务@@, 实现大数据@@@@时代的数据@@自服务平台@@@@, 推动数据@@共享和价值释放@@。
随着物联网@@、大数据@@@@等@@@@IT技术的快速发展@@, 包括电力企业在@@内的行业均产生大量的数据@@@@, 其数据@@储存也占据着大量的资源@@, 依据相关数据@@限制@@, 在@@未来的发展中其数据@@总量呈现上升趋势@@, 大数据@@@@时代属于一@@场前所未有的革命@@。当前大数据@@@@主要应用在@@互联网@@@@、传统商业领域@@, 主要是开展客户挖掘@@、购物行为预测@@, 购物需求分析等@@@@。在@@信息时代下@@, 工业@@化生产逐渐朝着智能化@@、柔性化的方向发展@@。不管是在@@生产设备@@, 或者是感知设备均属于数据@@的生产者@@。依据相关资料显示@@, 制造行业内的数据@@储存量明显高于其他行业@@。在@@2012年@@其数据@@储存量已经接近于@@2EB。随着数据@@储存量的增长@@, 其管理@@难度@@、数据@@种类也在@@不断变化@@, 呈爆炸式增长趋势@@, 直接导致工业@@大数据@@@@爆发@@。德国@@的@@4.0工业@@、美国的工业@@互联网@@行业的深入发展以及@@“中国制造@@2025”规划@@, 将促使智能化分析与物联网实现密切配合@@, 以此对现存的生产方式@@、管理@@方式进行转变@@。德国@@4.0工业@@也提出过@@“智能工厂@@”“智能物流@@”等@@发展理念@@, 在@@任何一@@种发现理念中@@, 其数据@@属于底层核心@@。工业@@4.0就是将多源异构的数据@@整合并支撑前端@@智能的过程@@。无疑@@, 数据@@将会渗透到企业运营的整个生命周期@@, 推动制造业向智能化转型@@, 意味着工业@@大数据@@@@时代@@到来@@。
结合相关资料@@, 工业@@大数据@@@@本身具备采样性@@、多样性的排列顺序@@, 其数据@@还具备混杂性的特点@@。工业@@数据@@主要分为密集数据@@@@、慢数据@@@@、快数据@@@@。通过深入分析发现@@, 工业@@数据@@还具有多源性@@、广泛性@@、动态性的特点@@, 在@@工业@@数据@@的应用与管理@@上存在@@着较多的问题与挑战@@。主要是因为工业@@数据@@涉及的部门较多@@, 其涉及的领域也比较广@@, 在@@实际工作中面临着数据@@安全@@、所有权@@、质量@@、管理@@、控制等@@问题@@。加之当前我国对工业@@数据@@管理@@与控制上还未能形成统一@@的管理@@制度与管理@@固定@@, 在@@实际的管理@@中@@“信息孤岛@@”现象普遍存在@@@@。这就对工业@@产生的海量数据@@@@, 如何进行合理管理@@@@, 科学储存@@, 以此提升数据@@资源的利用率@@, 成为当前工业@@行业改革的重点问题之一@@@@。
使用元数据@@@@@@, 能够对工业@@数据@@进行目录化管理@@@@, 实现数据@@服务@@, 这类技术能够弥补传统数据@@集中中的缺陷@@, 特别是数据@@集成@@不完善问题@@。从而能使工业@@大数据@@@@能得到更好的存储@@和共享@@。
一@@、平台@@体系架构@@
多源异构的数据@@就像一@@个个信息孤岛@@@@, 如何集成到统一@@的数据@@中心并在@@统一@@管理@@下对外提供数据@@服务是研究的重点@@。为了打破数据@@壁垒@@, 释放数据@@价值@@, 应用元数据@@@@管理@@@@技术建立元数据@@@@管理@@@@平台@@@@, 实现元数据@@@@的采集@@、变更@@、删除及检索@@, 并在@@元数据@@@@的驱动下实现数据@@的抽取@@、转换@@、加载@@, 结合数据@@标准管理@@@@@@、数据@@模型管理@@@@和数据@@质量@@管理@@@@, 建立电子化数据@@目录@@, 最终实现统一@@的对外数据@@服务@@。
图@@1 元数据@@@@驱动的大数据@@@@服务平台@@@@架构@@
数据@@中心将来源@@于设备状态监测@@、企业管理@@信息系统@@等@@不同来源@@@@、不同特性的数据@@通过统一@@的@@ETL过程存储@@下来@@, 并在@@此过程中实现元数据@@@@的采集@@和稽核@@, 建立电子化的数据@@目录并存储@@在@@元数据@@@@库中@@, 同时在@@服务平台@@上建立适当粒度的数据@@服务@@。外部应用可以在@@元数据@@@@管理@@@@平台@@中检索元数据@@@@和数据@@服务@@, 并构成数据@@服务请求进而访问数据@@@@, 从而实现应用系统@@以自助式@@、自主式的方式获得数据@@@@, 真正意义上打破数据@@壁垒@@, 实现工业@@大数据@@@@环境下的数据@@自服务@@, 释放数据@@价值@@。
二@@、关键技术@@
（一@@）元数据@@@@管理@@@@
元数据@@@@是一@@种结构化的信息@@, 用于对某项信息资源进行描述@@、解释@@、定位@@, 使其易于提取和使用@@。工业@@大数据@@@@时代@@, 如何从海量数据@@中发现知识进行分析成为难题@@。为此通过元数据@@@@管理@@@@高效支撑海量数据@@资产的快速识别定位@@@@、高效有序管理@@和智能便捷应用@@, 使决策者知晓数据@@资产概况@@, 管理@@者知晓数据@@资产的健康运行状况@@, 使用者知晓数据@@资产的来龙去脉@@。
元数据@@@@包括业务元数据@@@@@@、技术元数据@@@@和管理@@元数据@@@@@@。元数据@@@@管理@@@@以业务模型为切入点@@, 以数据@@模型@@ (特指基于业务原始数据@@且未进行逻辑加工处理的模型@@) 为中心@@, 制定业务模型和数据@@模型标准@@, 管理@@数据@@模型@@、数据@@应用@@、数据@@集成@@、数据@@处理@@、数据@@视图@@等@@对象元数据@@@@信息@@, 监控标准的执行情况@@。
图@@2 元数据@@@@管理@@@@模型@@
元数据@@@@管理@@@@包含元数据@@@@采集@@、元数据@@@@维护@@@@、元数据@@@@发布@@、血缘分析@@、影响度分析@@、表关联度分析@@、元数据@@@@稽核等@@功能@@。通过自动采集@@ETL转换@@过程@@, 对结构化@@、非结构化的数据@@进行统一@@管理@@@@, 进而支撑上层数据@@服务@@。
（二@@）数据@@标准管理@@@@
数据@@标准管理@@@@要符合企业数据@@标准管理@@@@的相关办法@@, 落实数据@@标准管理@@@@相关人员的职责@@, 固化数据@@标准管理@@@@的流程规范@@。
数据@@标准管理@@@@通过采集抽取元数据@@@@@@, 建立标准数据@@与元数据@@@@映射@@, 并对关键元数据@@@@进行筛选@@, 按照业务@@、地域@@、系统@@3个维度进行划分形成数据@@目录@@, 数据@@目录支持@@按维度下钻浏览@@, 同时支持@@数据@@标准对数据@@地图@@进行探索@@;数据@@标准管理@@@@支持@@数据@@分布智能查询@@、数据@@分布浏览功能@@。可根据元数据@@@@信息及专业数据@@@@, 结合业务经验@@, 将具有词典意义的单词定义为标准单词@@, 也可将多个单词组合成业务术语或技术用语@@。
（三@@）数据@@模型管理@@@@
数据@@模型管理@@@@是对企业概念模型@@、逻辑模型和物理模型进行统一@@管理@@@@, 覆盖模型的设计@@、发布和应用等@@各阶段@@。数据@@模型管理@@@@将企业模型管理@@规范@@、模型与数据@@库映射管理@@导入数据@@模型管理@@@@组件中@@, 并提供模型信息维护@@@@、版本管理@@@@、业务模型与物理模型映射等@@功能@@。数据@@模型管理@@@@也提供模型的可视化展现@@、在@@设计期@@、开发期@@、运行期的模型分析比对@@、模型的分发功能@@, 进行模型的全生命周期管理@@@@。
（四@@）数据@@服务总线@@
数据@@服务总线@@建立基于元数据@@@@和数据@@模型的对外数据@@服务@@, 采用基于数据@@模型的可视化配置的方式@@, 节省繁复的接口脚本编写过程@@, 提高数据@@服务的效率@@。
数据@@服务总线@@提供的统一@@的数据@@服务目录@@, 对数据@@资产的产生@@、位置@@、责任单位@@、共享范围@@、更新维护@@方式@@、服务方式等@@方面的信息进行全面描述@@, 为企业提供统一@@的数据@@资源全景地图@@@@, 明确信息资源有什么@@, 在@@哪里@@, 谁负责@@, 做到@@“信息清@@、资源清@@”。
通过数据@@服务标准化开放访问@@, 帮助数据@@中心和应用中心实现应用和数据@@分离@@, 提高应用开发效率和生产效率@@。访问接口支持@@@@Web Service、Http/Rest、FTP等@@, 并提供统一@@的服务封装能力@@, 将对外共享的数据@@按照一@@定粒度封装为独立的服务实体@@, 尽可能屏蔽内部的细节@@, 只提供标准化的交互接口@@, 保证了数据@@的安全性和数据@@交换的标准化@@。
三@@、应用实践@@
中国南方电网有限责任公司调峰@@调频@@发电公司成立于@@2006年@@7月@@, 隶属于中国南方电网有限责任公司@@。公司主要负责南方电网区域内的调峰@@@@、调频@@电厂的运营@@、维护@@、管理@@和建设工作@@。其工作目的是为南方电网提供优质运行服务@@, 确保南方电网的安全性@@、经济性@@。目前@@, 公司的已投运机组容量@@642万@@k W, 在@@建机组容量@@158万@@k W, 前期开发项目容量@@660万@@k W。公司的管辖范围主要包括@@:调峰@@、调频@@、调相@@、事故备用等@@@@, 是确保电网安全运行的关键环节@@, 直接带动了当地经济的发展@@。
当前调峰@@调频@@发电公司正在@@开展围绕发电设备状态监测的状态监测中心研究与建设工作@@。其软件环境分为数据@@中心和应用中心两大部分@@。数据@@中心集中存储@@设备准实时数据@@和管理@@业务的结构化数据@@@@, 分为采集层@@、存储@@层@@、数据@@仓库层@@、数据@@服务层@@。应用中心以轻量化应用的思路@@, 遵循@@OSGi技术规范@@, 支持@@PC端@@、移动端@@的组件化应用@@。
图@@3 状态监测中心软件环境逻辑架构图@@@@
通过应用元数据@@@@驱动的数据@@服务平台@@@@, 状态监测中心的数据@@中心已具备各类准实时的设备监测数据@@和结构化的业务系统@@数据@@统一@@采集@@、存储@@、综合管理@@@@、分析和数据@@服务等@@功能@@, 初步实现应用和数据@@的解耦@@, 为设备实时管理@@@@、企业实时管控和科学决策提供支持@@@@。
四@@、结论@@
随着数据@@的指数级爆发式增长@@, 企业信息化转型和数字化驱动的迫切需求@@, 如何应对大数据@@@@时代@@, 从数据@@中发现知识并驱动企业发展@@, 成为当前的热点问题@@。提出元数据@@@@驱动的数据@@服务平台@@@@, 适合大数据@@@@的存储@@分析应用需求@@, 是实现数据@@自服务@@、推动企业数据@@化运营的可行路线@@。在@@未来的工作中@@, 要考虑如何将数据@@服务平台@@支撑的应用效果反馈到平台@@中@@, 实现闭环的数据@@服务体系@@, 对设备监测和企业管理@@进行控制优化@@。
作者@@：佘俊@@ 周宇鹏@@ 王林@@ 董天波@@ 兰天@@
