企业能否负担得起大数据处理方案的成本?
发布时间：2021-06-04 15:27:32 所属栏目：大数据 来源：互联网
导读：人们仍然存在的一个误解是，只有大企业才能负担得起采用大数据驱动的解决方案的成本，它只适用于海量数据，而且成本高昂。近年来的几次革命性发展将会改变这种想法。 大数据技术的成熟度 第一次革命性发展与大数据的成熟度和质量有关。毫无疑问，企业采用大
|
人们仍然存在的一个误解是，只有大企业才能负担得起采用大数据驱动的解决方案的成本，它只适用于海量数据，而且成本高昂。近年来的几次革命性发展将会改变这种想法。
大数据技术的成熟度
第一次革命性发展与大数据的成熟度和质量有关。毫无疑问，企业采用大数据技术需要付出一定的努力才能使其发挥作用。
图1.技术正在成长的阶段
以往有很多来自开发人员的故事，他们浪费了80%的时间试图用Spark、Hadoop、Kafka或其他方法来克服一些故障。如今，这些技术变得足够可靠，并且在成长阶段学会了如何相互合作。
与捕获内部错误相比，基础设施出现故障的机会要多得多。在大多数情况下，即使是基础设施出现问题也可以容忍，因为大多数的大数据处理框架设计都是容错的。此外，这些技术为计算提供了稳定、强大、简单的抽象，并允许开发人员专注于开发的业务。
各种大数据技术
目前正在发生第二次革命，近年来涌现出许多开源和专有技术——Apache Pino、Delta Lake、Hudi、Presto、Clickhouse、Snowflake、Upsolver、Serverless等等。数千名开发人员的创造力和创意已转化为大胆而卓越的解决方案，并具有巨大的协同作用。
图2.大数据技术堆栈
以下介绍一个典型的分析数据平台(ADP)。它包括四个主要层次：
•仪表板和可视化–分析数据平台(ADP)的外观，可将分析摘要提供给最终用户。
•数据处理–验证、丰富数据并将数据从一种形式转换为另一种形式的数据管道。
•数据仓库–存放组织良好的数据的地方，例如汇总和数据集市等。
•数据湖–用于存放纯原始数据的地方，是数据仓库的基础。
每个层次都有足够的选择，可满足任何需要和要求。这些技术中有一半是在过去5年内出现的。
 （编辑：上饶站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
