适用场景
CDC 的价值是"准实时、低侵入"地把数据库变更送出去:同步到数仓、刷新缓存、驱动搜索索引。前提是位点管理与幂等处理要做好。
配置步骤(延迟监控与故障处理)
# 1) 位点延迟:当前位点 vs 最新位点
# 2) 链路:连接状态、重连次数
# 3) 告警:延迟超阈值或链路断开
# 4) 处置:重启任务、跳过坏消息(谨慎,需记录)
关键参数与建议
- 前置条件:开启 binlog(ROW 模式)、复制账号权限最小化
- 位点管理:记录消费位点,重启后不丢不重
- 幂等:消费端按主键或唯一 ID 去重
- 监控:延迟、位点落后、连接断开告警
- 全量 + 增量:首次全量初始化,之后增量追平
容易踩的坑
- 延迟无监控,业务读到一小时前的数据
- 断连重连后位点回退或跳过
- 跳过坏消息无记录,数据永久缺失
验证与巡检
# 证据:延迟曲线、重连记录、跳过记录
- 巡检:延迟达标、无未处理告警
小结
CDC 的验收标准:模拟主库写入,目标端秒级可见;断开重连后不丢数据不重复;延迟可监控有告警。
> 说明:文中命令为通用写法,不同型号/版本可能略有差异,落地前请对照设备实际版本的官方文档;带外管理与安全设备变更建议先在测试设备验证。