信通院闫树:大数据持续高速增长,呈现六大融合趋势

2020-01-07 13:16:00 来源:通信世界全媒体 8

“2019年,全球大数据产业继续高速增长,相对其他产业保持了高增长的态势,我们对大数据产业发展充满信心。”在1月3日举行的分享通信尚·5G新商业论坛上,中国信息通信研究院高级工程师闫树表示。

56.png

闫树表示,2019年全球大数据持续拓展,技术成熟度方面出现了一些演变。例如,美国2019年发布了联邦数据战略第一年度行动计划,底层技术逐步走向成熟。总体来看,大数据产业持续平稳增长,产业发展趋势向好。

增长迅速的领域,往往伴随着资本运作。近两年来,大数据巨头合并不断。例如,2019年10月Cloudersa和Hortonworks宣布合并,将影响整个Hadoop的生态;2019年8月,惠普企业收购MapR业务资产。在合规性方面,欧盟GDPR实施了一年,在保护欧盟用户隐私的同时也争议不断。目前美国加州CCPA也开始实施,产业界需要思考如何应对。

谈起大数据技术趋势,闫树将其总结为6个融合。

第一,算力融合。传统以CPU为底层的硬件无法面对越来越复杂的数据和越来越多的任务负载,需要通过不同硬件来提升计算效率。而目前越来越多的平台支持异构计算的能力,给上面的编程人员提供统一接口,用统一的编程语言调用CPU、GPU、FPGA和其他的硬件加速。

第二,流批融合。大数据分为流处理和批处理,最近两个技术开始融合。比如Flink,提供了可变窗口,窗口小到单条数据的时候就是流计算,把窗口拉大就是批处理,现在很多大型的互联网公司都在其生产系统中使用,这是一个非常典型的一个方向。

第三,TA融合。TA融合是指事务(Transaction)与分析(Analysis)的融合机制。Gartner提出混合事务/分析处理(HTAP)的架构,旨在实现在单一数据源上不加区分地处理事务和分析任务。

第四,模块融合。无论数据中台还是新型数据基础设施,本质上都是一站式数据能力复用平台,将大数据的加工、管理、分析能力沉淀在一个模块,使得不同的数据接口可以方便使用。

第五,云数融合。近几年,各大运营商和厂商都推出自己的大数据产品满足用户,构建云原生数据产品,使得大数据分析人员只需要专注于数据和业务逻辑即可。

第六,数智融合。一方面,数据为智能提供了养料,大数据使得人工智能和大数据平台越来越智能;另一方面,我们也在把AI算法用到数据治理上,比如说我们可以做数据的实体识别、自动的分类、全局的数据视图自动生成等等。

闫树最后表示,大数据发展已经进入新阶段,虽然还面临着原创技术和产品不足,开放共享水平低等问题,但是在新一代信息技术的共同作用之下,新型数字经济会朝着更加互信、共享、均衡的方向发展。