大数据如何以及为什么会迅速变成小数据蔓延

2020-03-09 12:17:00 来源:企业网D1Net 9

如今的企业希望更贴近客户,而亲近感使他们更具反应能力和个性,这也让他们能够更好地控制这种关系。由于物联网设备现在具有足够的能力解决实际问题,每家公司都在建立一个边缘策略。

大数据009

数据是任何一个边缘计算策略的核心。边缘设备将收集、分析和存储有关用户、其环境及其响应的信息。其结果是,更多的信息将出现在人们的各种设备中,信息片段将会散布到整个环境中。这就是“小数据蔓延”。  

在未来几年中,市场的关注点将从大数据转移到小数据蔓延。大数据更易于控制、管理和分析,它存储在中央数据湖中,数据管理员在那里保护数据,少数数据科学家对进行了分析。小数据蔓延增加了与数据相关的价值和风险。企业、监管机构,尤其是个人,需要为小数据的蔓延做好准备。  

数据点1:边缘计算设备(尤其是物联网设备)的数量呈爆炸式增长

分析人士认为,全球目前约有2000万台边缘计算设备,而且这一数字正在呈指数级增长。例如智能电表、汽车和可穿戴设备,物联网和边缘计算技术已经蔓延到每一个行业。农民、医疗设备制造商和制造商不断地收集遥测数据;政府、赌场和零售公司对于监控视频的收集也是如此。  

数据点2:这些设备生成的数据量正在增长  

工程师和科学家总是希望获得更多数据。即使现在不能使用,他们也希望将来能挖掘历史数据的价值。因此,每个设备生成的数据量正在飞速增长。与遥测数据相比,视频和音频的数据量更大,并且以更高的清晰度在增长。遥测设备正在生成更多的数据,这些数据被更频繁地收集。自动驾驶汽车收集的数据达到了25GB /小时,而且这个数字还在增加。

数据点3:必须在边缘进行初始处理  

边缘计算设备正在成为一种技术成熟的计算设备,因为必须在本地进行初始处理。如果需要运行自动驾驶汽车或控制起搏器,则不能依靠速度慢、不可靠的网络。如果要确定犯罪或环境问题,则不能等待中央处理资源。因此,实时计算将在边缘计算设备本身上完成。其结果就是一种小数据蔓延。

数据点4:机器学习需要在中心完成  

边缘计算设备可以执行算法,但是机器学习只能在中心进行。需要跨许多设备访问完整的数据集进行学习,还需要在更长的时间内应用更多的计算资源。边缘计算将优化流媒体;中心将优化分析、丰富和学习。这意味着边缘计算需要向中心发送数据。

数据点5:需要在中心进行保留  

物联网数据必须符合法规要求,要求对数据和控制进行整合。组织知道他们需要保护、保留和删除数据(例如私人数据)。但是,他们还需要保留生成有关数据结论的算法。从交易股票的算法到调整胰岛素水平的医疗设备,再到用于识别潜在犯罪的摄像头,法院将期望通过视频能够再现其结果。这将需要原始算法和原始数据集。这只是一个开始。随着人工智能的日益普及,监管部门将更加关注。  

数据点6:云计算将成为整合小数据的目标  

组织将在云平台中整合边缘数据,因为它可以实现大规模的机器学习和合规性。云计算是唯一具有足够功能、容量和可访问性来存储数据的地方。它使客户能够应用功能强大的分析工具,因此他们不需要在市场上搜寻稀缺的数据科学家资源。最后,云计算提供了跨区域数据中心的集中视图,因此云计算团队可以集中管理数据,以符合本地法规。

数据点7:横向SaaS解决方案将管理和分类小数据  

客户将寻求广泛的SaaS解决方案来帮助管理和分类他们的数据。每个行业都需要整合和保护其数据,他们还需要识别需要匿名或清除的数据(例如私人数据)。数据规模和多个位置不断发展的法规的复杂性相结合,将使组织相信将工作分担给SaaS专家。这些工具将收集数据、保护数据、对私有数据进行分类,并在客户需要时帮助他们找到所需的内容。  

数据点8:垂直解决方案将对小数据进行分析  

每个行业和组织都希望对数据做一些不同的事情。他们希望创造竞争优势。因此,人们将看到用于数据分析的行业专用SaaS工具的兴起,这些组织通过在云计算人工智能/机器学习基础设施上运行的自有算法来增强功能。通过卸载常见的基础设施任务,领导者将把精力集中在构建有利于竞争的秘密武器上。  

物联网和边缘计算实际上正在改变每个行业。通过更接近客户和员工,组织可以释放新的机会来改善用户体验和生产力。同时,由此产生的小数据蔓延要求重新审查如何管理和使用数据。实时分析将走向边缘,数据保护和合规性将转移到SaaS云应用程序。这将使组织腾出更多时间来使用云计算工具构建数据和扩充算法。  

但是作为消费者,确保数据隐私和合规性法规与新技术保持同步至关重要。了解变化是第一步。