【极客日常】稳定性风险治理的通用SOP

在稳定性风险治理工作中,风险来源比较分散,如果只靠团队每个人自顾自处理,很多潜藏的风险容易漏掉,处理进度也不好跟进。面向这类难题,从组织层面一般的解法是立横向专项,派专人牵头治理。那么具体治理的执行怎么做,其实是有一套通用的方法论SOP的。

今天笔者就讲讲这个稳定性风险治理的通用SOP,简单来说,就是风险发现、根因诊断、解决闭环、数据运营四步曲。不同业务场景下的治理动作其实是相通的,这四个action可以很方便复用到各类场景上,区别只在每一步的具体实现。如果熟练掌握这套SOP的话,相信不管是什么风险治理的工作,你都可以有足够的信心。

首先是风险发现。发现手段主要有两种,巡检扫描和实时告警,前者按固定周期检查存量的风险点,后者负责发现突增的问题。衡量发现能力,主要看发现的数量、时效和准确率。数量对应覆盖面,核心场景的关键指标有没有被规则覆盖,巡检项和告警规则有没有跟上架构变更;时效是指从风险发生到被识别出来的时间差,比如巡检周期是天级还是小时级,告警会不会被静默和降噪规则过滤掉;准确率决定报出来的风险里有多少是误报,误报多了,后面诊断和治理的资源就会被浪费。发现得越晚、越不准,能做的处理就越有限,很多时候就只剩止损了。

其次是根因诊断。风险被发现,只代表有问题存在,并不代表已经知道问题出在哪,所以还需要做根因诊断。诊断结果要落到几个要素上,影响哪个业务场景、归因是什么、责任分派给哪个团队、止血和根解方案分别是什么、有没有条件做自愈。诊断要带上依据,比如日志、trace、变更记录,不能只给一个结论。诊断做得粗,后面接手的人还得从头查一遍,责任分派也容易出错;诊断拖得太久,风险在线上停留的时间也会变长。

然后是解决闭环。诊断完成后,风险已经有了责任团队和解决方案,接下来要保证它真的被处理掉。落到具体流程上,巡检发现的风险转成工单,告警升级后关联责任团队,处理状态的变化,比如从待处理、处理中到已验证关闭,都由系统记录。这样不管风险数量多少,解决进度都可以持续跟进。

最后是数据运营。前面三步每一步都会产生数据,这些数据合起来,才能判断整套SOP执行得怎么样。数据运营的指标可以按步骤拆开看:

  • 风险发现:发现的时效、准确率、数量
  • 根因诊断:诊断时长,以及归因、责任分派、解决方案等信息的准确率和可靠度
  • 解决闭环:风险数量、闭环率,其中闭环率可以按风险场景、业务线等维度拆分

这些数据要按固定周期看,口径也要固定,不然不同周期的数字没法比较。比如某类风险持续新增,说明根解方案没有生效;某个团队的积压变多,说明责任分派或者人力配置有问题。把这三类数据放在一起看,风险治理的整体情况也就清楚了。

总的来说,风险发现和根因诊断解决的是风险从哪里来、该怎么处理,解决闭环和数据运营解决的是谁来处理、处理得怎么样。四步走完,风险治理的流程才算完整。这套SOP只是一个框架,每一步做到什么程度,取决于业务规模和现有的工具链。

版权声明
本文为博客HiKariのTechLab原创文章,转载请标明出处,谢谢~~~