适用场景

别人的故障是最好的教材。这四类事故（广播风暴、存储写满、证书过期、配置误改）在多数单位都发生过，复盘固定成模板可以直接用。

配置步骤（证书过期：网站与接口批量报错）

# 现象：浏览器告警、接口调用失败（证书过期）
# 定位：
# 1) openssl s_client -connect 域名:443 | openssl x509 -noout -dates
# 2) 检查是否自动续期任务失败
# 处置：立即续期并更新，多节点同步替换
# 根因：证书未纳入到期提醒，自动续期脚本失败无告警

改进：证书台账 + 到期前 30 天提醒 + 续期任务失败告警。

关键参数与建议

  • 复盘模板：时间线、现象、影响范围、根因、处置动作、改进项
  • 根因要追问到流程层面（为什么没提前发现）
  • 改进项必须落到具体动作与责任人
  • 把复盘沉淀成检查项，纳入日常巡检

容易踩的坑

  • 证书分散在各系统，漏掉某个域名
  • 自动续期失败静默，直到过期才发现
  • 更换证书只改了一台，集群不一致

验证与巡检

openssl s_client -connect 域名:443 -servername 域名 </dev/null 2>/dev/null | openssl x509 -noout -dates
  • 巡检：证书台账（到期日/负责人）、续期任务监控

小结

故障复盘的产出不是报告，而是"下次不会再发生同样的故障"的具体措施。没有改进项的复盘没有价值。

> 说明：文中命令为通用写法，不同型号/版本可能略有差异，落地前请对照设备实际版本的官方文档；带外管理与安全设备变更建议先在测试设备验证。