联通软件研究院全面贯彻落实集团新战略和集团公司工作会议精神,纵深推进企业数字化转型加快数字技术融合创新,构筑IT差异化优势,立足自主研发,锤炼多项专精特新的“独门绝技”,“数字化监控平台”便是其中之一。
当前,面对几何增长的联通云IT资源以及精细化的业务场景,如何保障系统的全面稳定,保证业务流程的高效运转,为IT运营提出了不小的挑战。“中国联通-数字化监控平台以DevOps理念、SRE理论为指导,改变了传统IT运营保障体系不完善、运营流程不贯通、工具支撑不完整的落后状态,以大数据和AI赋能新IT。数字化监控平台采用平台+应用模式,打造支持系统全生命周期稳定性保障工具,构建包括集中统一监控、故障一键诊断、自动化运维、一体化运营管理、安全可信等核心能力。”联通软件研究院运营保障调度中心经理戚勇介绍道。
“在高度复杂海量规模的系统运行环境下如何做到快速发现系统故障,及时通知预警,精准根因定位?”在戚勇看来,数字化监控平台需要提供全层级、端到端、全流程、跨数据中心、跨云平台、跨系统,超大规模、分布式监控能力,具备多维度数据采集、告警管理、链路拓扑、根因定位、故障诊断等功能。
“中国联通目前是电信运营商内集约化体量最大的全层级全流程的监控系统。通过定标准立规范,完成集团800+套数字化系统的监控全覆盖,包括联通云资源中心的网络设备数千台、主机数万余台、容器数量十万。制定适用于云化架构下的《全层级监控覆盖标准》,以多样化采集工具支撑IAAS/PAAS/SAAS全层级数据采集,基于探针的应用性能监控完成服务调用跨系统的全流程串联。同时,中国联通引入AIOPS(人工智能运维)概念,实现了核心业务2000+业务指标的动态阈值,聚类分析输出汇集生成7000+个模板,使得系统能够在1分钟内实现弹窗异常预警,告警准确率高达99%。此外,系统还采用核密度估计(KDE)算法和DBSCAN聚类算法,以服务超时率、平均耗时、失败量等指标作为特征输入,实现了全层级一键根因诊断准确率达到75%,在容器分类的异常根因实例中,判定准确率更是高达95%以上。”谈话中,戚勇表示数字化监控平台在公司推广时既要制定标准规范提升各系统接入效率,也要使用AI等前沿技术提升数字化监控平台的效率和准确性。
“数字化监控平台在建设过程中不是一蹴而就的,经过了多年的持续积累与沉淀,特别是在故障诊断、自动化运维、一体化运营、自主可控领域投入大量的精力。”戚勇强调。
“在故障诊断领域如何实现故障的一键诊断?这个在业界是一个创新的复杂课题。”在运营保障调度中心副总架构师吴天昊看来,故障诊断不能完全依赖于专家的经验,每个业务系统专家的能力水平参差不齐,越大型的系统对专家的依赖度越高,容易形成人员单点的风险,数字化监控平台创新地以机器代替专家经验,自动诊断故障根因。借助自研的CMDB关联关系,告警节点自动进行关联诊断,对海量故障数据进行分析和挖掘,训练机器学习模型,实现智能根因判定,快速定位和解决故障,降低故障定位门槛,提高故障处理的效率。
“在自动化运维领域如何解放运维人员双手,一键完成运维作业,提高运维效率和减少人为手工操作错误?”运营保障调度中心项目总监李瑞介绍:“我们基于DevOps敏捷运维理念打造了自动化运维能力,支持多种语言,提供灵活的作业扩展组合、多种云平台的管理能力。作为数字化监控平台体系提供‘控’的角色,实现业务链路治理、应急预案等复杂场景支撑。通过故障树分析(FTA),以告警快速匹配,自动触发预定自动化脚本,实现故障自动恢复,提升企业服务可用性和降低故障处理时间”
“在一体化运营领域如何实现一线运营问题的统一归口,实现‘一个联通、一体化能力聚合、一体化运营服务’原则?”运营保障调度中心副经理徐茂红介绍:“数字化监控平台为一线人员提供了统一的运营支撑平台,方便快捷的问题反馈渠道,有效解决一线用户问题收集及处理渠道不统一的痛点,实现快速问题解答、统一问题分析及共性知识沉淀,降低提问题门槛,大大提升了一线用户满意度。”
“如何实现自主可控、安全可信?”徐茂红介绍:“数字化监控平台历经‘善用开源、掌控开源、突破开源’的三大阶段,实现在开源之上进行自主创新,打造国内行业首创的指标、链路、日志三位一体的可观测。实现了核心产品的全栈信创,已经成功地应用于辽宁智慧城市的信创环境,助力朝阳市斩获2022年中国领军智慧城市称号,信创赋能行业领先。”
“数字化监控平台为联通IT系统的稳定运行构筑了坚固的基石,为业务的连续性全方位保驾护航,系统常年可用率保证在99%以上,促进了联通IT运营新生态的建立,实现了公司IT运营的提质增效。在2022年冬奥会、二十大重保、携号转网专项保障中预防故障发生,实时保证系统稳定运行,擦亮中国联通‘重保首席’金字招牌,数字化监控平台也在帮助其他企业进行数字化转型,赋能政府、医疗、国防、基建、消费品等行业,助力传统行业数字化转型,以科技融合创新驱动IT运营变革,践行央企责任担当,奋楫数字经济主航道。”戚勇说。
未来,联通软件研究院将持续贯彻落实集团公司“1+9+3”战略规划体系,继续聚焦主责主业,不断提升核心竞争力,积极推进新技术、新业务的研发和应用,为用户提供更加优质的服务,奋力推动全集团全面数字化转型再上新台阶,助力擦亮“国家首席、政府首选、人民守信”的品牌形象,充分展现“国家队、主力军、排头兵”的责任与担当,为数字强国建设贡献力量。(编辑/李玥)