面向智能电网应用的电力大数据关键技术

2015-04-17 09:16:50 来源:分布式发电与微电网 6

大数据这个术语最早期的引用可追溯到Apache软件基金会的开源项目Nutch。当时,大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。

早在2008 年Nature就出版了专刊“Big Data”,从网络经济学、超级计算、互联网技术、生物医药、环境科学等多个方面介绍了海量数据带来的挑战;2011年Science推出数据处理的专刊“Dealing With Data”,深入讨论了数据洪流(datadeluge,DD)所带来的挑战,并指出如果能够更有效地组织和利用这些海量数据,人们将得到更多的机会发挥科学技术对推动社会发展的巨大作用;2012年奥巴马宣布美国政府投资2亿美元启动“大数据研究和发展计划”,将大数据比喻为“未来的新石油”,将对大数据的研究上升为国家意志,掀起了世界各国大数据的研究热潮。

大数据的定义,业界虽然有一些共识,但是并未有统一的定义。麦肯锡认为“大数据是指其大小超出典型数据软件抓取、储存、管理和分析范围的数据集合”;Gartner认为“大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。

在对大数据的定义中,比较有代表性的定义是3V定义,即规模性(Volume),多样性(Variety)和高速性(Velocity),规模性是指数据量庞大,数据洪流已经从GB、TB级上升到PB、EB、ZB级;多样性是指数据类型繁多,并且包含结构化、半结构化和非结构化的数据;高速性则是指数据以数据流的形态快速、动态的产生,数据处理的速度也必须达到高速实时处理。

另外大数据第4V的讨论并没有取得一致的结论,国际数据公司(international data corporation, IDC)认为大数据应该具有价值性(Value),且价值密度稀疏;IBM则认为大数据的第4V特性是真实性(Veracity)。大数据的这些特点决定了在大数据时代,传统的数据处理技术必需有革命性的提升。

电力系统作为经济发展和人类生活依赖的能量供给系统,也具有大数据的典型特征。电力系统是最复杂的人造系统之一,其具有地理位置分布广泛、发电用电实时平衡、传输能量数量庞大、电能传输光速可达、通讯调度高度可靠、实时运行从不停止、重大故障瞬间扩大等特点,这些特点决定了电力系统运行时产生的数据数量庞大、增长快速、类型丰富,完全符合大数据的所有特征,是典型的大数据。

在智能电网深入推进的形势下,电力系统的数字化、信息化、智能化不断发展,带来了更多的数据源,例如智能电表从数以亿计的家庭和企业终端带来的数据,电力设备状态监测系统从数以万计的发电机、变压器、开关设备、架空线路、高压电缆等设备中获取的高速增长的监测数据,光伏和风电功率预测所需的大量的历史运行数据、气象观测数据等。

因此在电力系统数据爆炸式增长的新形势下,传统的数据处理技术遇到瓶颈,不能满足电力行业从海量数据中快速获取知识与信息的分析需求,电力大数据技术的应用是电力行业信息化、智能化发展的必然要求。