Kunpeng大数据计算存储分离方案成为运营商大数据创新的利器

飞象网讯 2020年初中国联通发布公告，基于华为Kunpeng大数据存算分离方案，中国联通集团联合华为技术有限公司共同完成了大数据计算存储分离架构的规模化技术创新。中国联通将上线超过100台Kunpeng大数据存储节点，计算存储分离架构已经成为运营商大数据平台创新的利器。该方案将为运营商大数据创新带来巨大价值：

运营商大数据平台降本增效需求凸显

作为数字化转型的先行者，运营商利用大数据平台进行经营分析、网络优化、流量清单、日志留存等业务。这些大数据平台在运营商业务中发挥着至关重要的作用，但庞大的数据量也给用户带来了新的挑战。为应对挑战，运营商在大数据平台的建设和扩容方面每年都保持着规模投入，随之而来的降本与增效矛盾越发突出：

● 传统大数据平台计算存储等比例扩容，无法精准投资

当前运营商大数据平台基于传统存算一体架构独立建设。但不同业务对大数据平台计算和存储的资源要求差异较大，如网优类业务是计算密集型的业务，CPU利用率长期维持在90%以上，存储水位线往往低于20%；而日志留存和流量清单则是存储密集型的业务，以点查为主，CPU平均利用率不足30%，存储水位线却已经在70%以上，经常需要被动删除数据释放存储空间。传统的计算存储等比例扩容，会造成计算或存储资源的浪费。

● 传统大数据平台多副本机制，占用大量机房空间

传统大数据平台使用多副本方式进行数据保护，常见的存储利用率仅为33%（2副本为50%）。运营商的日志留存业务，每千万用户就会产生约6PB的数据。随着5G、IoT等业务兴起，当前正以每年约40%的速度在快速增长。10PB的数据量，以多副本方式存储，就需要数百台服务器，占用大量的机房空间，同时带来供电、制冷等一系列的维护成本增加。

● 传统大数据平台计算存储紧耦合，资源调度不灵活

运营商大数据已经应用到各个业务系统，形成了很多独立的大数据集群。基于大数据海量的数据存储和计算需求，传统做法是独立建设大数据集群，避免和实时业务抢占计算资源。但大数据集群业务峰值和实时业务有明显差异，比如经营分析系统，业务高峰期是在22:00-06:00，而计费等实时业务系统业务高峰期是在06:00-22:00。由于计算和存储融合，传统大数据平台无法在不同业务系统间灵活调度计算资源，浪费宝贵的算力。同时，一旦出现紧急需求，传统大数据系统的改造时间往往需要按周计，严重影响业务上线时间。

在运营商提速降费的大背景下，这些问题变得尤为突出，降本增效，让每一分钱用在 “刀刃”上，日益成为运营商客户的核心诉求。

华为Kunpeng大数据存算分离方案成为降本增效的良药

面临这些挑战，三大运营商不约而同的选择了大数据存算分离方案，并携手华为，选择华为OceanStor大数据存算分离方案作为解决之道：

● 弹性EC，存储利用率大幅提升

华为大数据存储使用弹性EC替代传统HDFS的多副本，存储利用率提升了1.75倍，同时保证性能、可靠性和多副本相当，并能够大幅降低日志留存、流量清单这类存储密集型业务的机房空间占用，节省大量的供电、制冷费用，成本节约效果显著。

● 依托华为Kunpeng多核算力，大幅提升数据存储性能

华为大数据存储采用Kunpeng多核架构的处理器，基于多核架构做深度优化，如EC、压缩等算法卸载到Kunpeng芯片上执行，保证业务性能稳定；基于多核架构，优化进程并发度，充分发挥多核的性能，也是华为大数据存储采用EC性能、保持可靠性的核心所在。

● 计算、存储资源池化，灵活按需调度

采用华为大数据存算分离方案，计算集群和存储集群可以分别云化，实现资源的按需调度。既解决了不同大数据集群间计算、存储资源利用率不均的问题，又使得大数据计算节点可以和用户的其他计算节点能够按业务峰谷灵活调配，一举两得。

● 全分布式架构，单NameSpace支持百亿文件

传统大数据平台的主备NameNode架构，长期存在当单个NameSpace文件数超过1.5亿后，性能大幅衰减的问题，甚至会导致NameNode崩溃。此时，客户就需要拆分业务到多个NameSpace或手动删除业务，限制了大数据集群的扩展。华为大数据存储采用全分布式的NameNode架构，每个物理节点既是存储节点，也是元数据管理节点，性能随着节点数增加线性扩展，单个NameSpace可支持百亿文件，帮助大数据平台从容应对5G时代海量数据存储需求。

● 原生HDFS，新老共存，保护投资

华为的存算分离方案可提供原生HDFS接口，用户应用不需要任何修改就可以直接使用；还针对不同大数据组件的要求，该方案提供了多种扩容方案，实现本地HDFS新老共存，保护用户投资的同时，降低了数据迁移的难度，消除用户的后顾之忧。

5G和AI的时代已经到来，大数据在千行百业中正发挥着越来越重要的作用。基于已有的Kunpeng大数据存算分离创新成果，华为将在Kunpeng生态领域，与中国联通持续深入合作，实现更多技术创新和关键应用成果落地，支撑客户创造更多价值。