- 睿帆科技雪球数据库Snowball助力北京移动构建运营商数据中心实时数仓
- 2024年03月29日来源:北国网
提要:随着运营商信令类数据量的迅速增长、数据源种类的变化和用户日益增长的通信需求,数据中心对数据库的实时性、可用性、安全性等能力提出了更高的要求。
运营商O域数据中心承担着在网络运行维护过程中采集、处理各环节信息,从而为网络规划、设备运行、业务发展等多方面提供决策支持的任务,是运营商业务支撑的关键系统之一。随着运营商信令类数据量的迅速增长、数据源种类的变化和用户日益增长的通信需求,数据中心对数据库的实时性、可用性、安全性等能力提出了更高的要求。
为进一步优化平台架构、提升O域数据处理能力与管理水平,北京移动2022年开始启动数据共享平台能力优化项目,项目引入睿帆科技雪球数据库Snowball替换原有数据库,构建运营商数据中心实时数仓,为数据中心提供全面的数据库服务支撑。
国产创新,深入核心
雪球数据库Snowball是一款睿帆科技自主研发的支持PB级数据量的、高并发的OLAP数据库管理系统,具备高可用、高性能、高容错等特性。优于传统数据库10倍以上的超快查询速度、每秒数百万行的超强写入性能与1000节点以上的超强扩展性,使得雪球数据库Snowball不仅满足超大规模数据量下对查询性能要求极其苛刻的应用场景,更是构建大规模、实时数据仓库的核心基石。
凭借睿帆科技在运营商领域深耕近10年的经验和对运营商业务技术的深厚积累,雪球数据库Snowball已成功服务全国超过半数省份的运营商用户,在多个运营商核心系统持续平稳运行多年,因此成为本次北京移动的首选产品。
平滑替代,全面升级
在本次改造前,北京移动数据中心一直使用的是Hbase。作为成熟分布式存储系统之一,HBase虽然具备高可靠、高性能、可伸缩的优势,但在使用过程中也存在着查询时延大、查询模式单一、运维复杂等难题,很难满足北京移动数据多维及时分析要求。
要完成本次国产数据库产品的替换,不仅需要在功能、安全性、稳定性上达到原有Hbase水平,还要具备快速查询的能力,满足北京移动各级人员访问和相关重点应用数据计算需求;在性能和容量上,更要同时满足数据实时处理和海量存储的需求。
历时数月,经过多轮测试,睿帆团队在不影响原系统架构和逻辑的前提下,依托与原库的极致兼容性,准确、高效、低风险地将原库数据无损移植到雪球数据库Snowball,并进一步完成多项能力的扩展与提升:
不仅支撑了海量数据入库查询这类通用场景,还扩展了即席分析、实时数据合成、实时数据汇聚等多种业务能力,沉淀了实时数仓的构建能力,提升了运营商数据中心项目中模型计算的及时性;
在保障现网业务稳定性的前提下,先后完成了大吞吐入库的性能提升优化、查询接口的兼容性适配、数据查询效率优化、数据合成算法的计算性能优化、告警数据入库及时性的优化等多项优化内容;
通过在雪球数据库Snowball中使用小批次关联计算,实现了VoLTE话单的多接口关联,将原有的关联合成时延从2小时提升至10分钟,并最终实现了15分钟粒度的核心网问题的异常定位能力。
平稳运行,赋能一线
截至今年,雪球数据库Snowball已在北京移动数据共享平台上线运行近两年,稳定、高效地支撑起O域数据中心各项任务,在效率提升、成本控制、客户感知等方面成效显著:
提升一线工作效率:在完成VoLTE xdr从Hbase向雪球数据库Snowball的迁移后,基于VoLTE的多维查询提数效率显著提升,SQL查询时间缩短80%以上,从原本的几小时缩短到几分钟,有效提升业务人员工作效率;
降低软硬件成本:雪球数据库Snowball的引入提升了运营商数据中心项目中模型计算的及时性,节省了服务器硬件的投入,并实现综合节省资源30%。
提升客户感知:为客户满意度分析、业务感知指标分析提供数据与算力支持,间接协助提升客户感知。
近年来,雪球数据库Snowball持续服务运营商、轨交、政务等各行业数字化转型升级,凭借高性能、可靠性、易用性等赢得北京移动、四川移动、广州公安等众多客户认可。未来,睿帆科技将继续加强研发投入和自主创新,加速推动雪球数据库Snowball迭代升级与重点行业典型场景应用落地,以高水平科技创新赋能千行百业高质量发展。