服务器告警太多怎么降噪
时间:2026-11-22 03:51:40 来源:本站整理 作者:testai 热度: 0 次
半夜被推送叫醒,起来一看只是磁盘到了 81%,第二天发现根本没过 90。告警响得太多,时间长了就没人当真了。这篇讲怎么把噪音压下去:先找出没人处理的规则,再把固定阈值换成按历史分位的基线,接着靠聚合和抑制减少重复推送,顺带说说监控系统该独立跑在什么机器上。
半夜被手机震醒,摸起来看一眼,是某台机器磁盘使用率 81%,第二天早上再看,那条曲线根本没摸到过 90。值班表上写着谁响谁处理,一个月下来大家的动作变成瞄一眼、划掉、继续睡。告警系统最常见的死法不是没监控,是响得太多,多到没人当真,真出事那天反而没人点开。
先把没人处理过的告警挑出来
拉近 30 天的告警记录,统计每条规则触发多少次、有多少次真被人认领。触发几十次、一次没人碰过的规则,基本等于噪音源。这时候别急着改阈值,先问它到底想表达什么,很多规则是当年临时加的,加的人早忘了它对应哪个故障。统计时把触发时间和业务变更记录对一下,不少规则是某次事故之后临时加的,事故过去了规则留着,语义早就变了。
按人看也很有意思,谁的手机响得最多、谁的响应最慢,往往对应规则分配不合理。把规则和值班表对一遍,能翻出一堆挂在已离职同事名下的通知,顺带看看严重级别的分布,一堆规则都设成最高级,等于没有级别,这些通知从发出到取消,从来没人真正看过。另一种情况是规则写得含糊,比如「服务异常」,收到的人不知道异常具体指什么,久了就默认它不重要。清掉这批之后,剩下的规则才有机会被认真看,推送次数也会跟着下来。
挑完列个清单,分三类:真需要人立刻知道的、知道但不急的、纯粹留档的。第三类直接改成静默入库,第二类进日报,只有第一类配响铃。这一步做完,噪音通常能掉一半以上,代价只是承认以前的规则没人看,不用改一行业务代码。清理完把剩下的规则按故障影响排个序,前十条要保证内容清楚、处理动作明确,边缘情况并进日报,不必叫醒人。
固定阈值换成基线之后差别在哪
磁盘 85% 这类固定阈值最大的毛病是不知道这台机器的正常水平。小盘涨到 85 可能还剩 30G,大盘 85 可能只剩 5G,同一个数字代表的风险完全不同,按百分比拍阈值等于把两种情况混成一种。
更合理的是按历史分位设:取近四周同一时段的 P95 当提示线,超过 P99 才升级。业务有周期,节假日和工作日曲线差一截,按小时分桶比整天一个阈值贴合得多,也省掉了每次大促前手忙脚乱调数字的流程。
变化率值得单独盯。容量一天涨 2%,比绝对值到多少更能预测哪天撑爆。给每条容量线算个预计天数,剩余可用不到 30 天再提醒,比天天喊 85% 有用,后者喊久了就成背景音。
CPU 和延迟这类指标别只看瞬时。5 分钟均值配合 1 分钟突发,能区分真过载和一次短尖峰。只盯瞬时值的告警,在批量任务和备份窗口里会疯狂误报,半夜被这种消息叫醒的次数多了,值班的人就开始整片静默。
基线不是一劳永逸,业务上线新功能、流量结构变了,基线就得重算。每月把曲线和告警量对一次,趋势明显偏移的规则重新设阈值,顺便把只响不动的规则删掉,规则库要跟着业务一起演化。
手工算分位成本不低,监控系统本身得有算力。洛杉矶这条入门线 上 8 核 8G 的机型,跑单机 Prometheus 加 Alertmanager,几百个指标、保留两周够用;再往上堆目标数和保留期,内存先撑不住,采集器开始丢样本,告警反而更不准。
聚合和抑制比反复调阈值省事
一台交换机掉线,下面三十台机器同时报不可达,手机连响三十下。这种同源告警先聚合再发,一条「某网段 30 台失联」比三十条单机告警有用得多,值班的人一眼就知道该去查哪个设备,而不是挨个 ssh 上去看。
依赖关系要显式写出来。数据库挂了,上面所有应用报连接失败都是果不是因,配置抑制规则让上游告警压住下游,值班的人才知道先修哪。没写依赖的时候,收到五十条告警,排序全靠猜。
抖动抑制用连续 N 次触发。单次采样越界多半是采集抖动,连续 3 次成立再报,误报能砍掉一大截,代价是晚几分钟。对容量类告警晚几分钟没所谓,对可用性告警就得权衡,宁可多响一次也别漏。
维护窗口别靠人记得关通知。发布、迁移、扩容都提前挂窗口,窗口里只记录不推送,比事后在群里解释为什么半夜响了一串容易。窗口申请走个流程,谁开的、什么时候结束,都留个记录。
静默规则要有过期时间。临时静默忘了删,半年后真出事的时候没人知道,这种坑比误报更危险。默认给三天,到期自动解除,续期要重新填理由,逼着人回头看一眼。
恢复通知也要控制。故障恢复的一瞬间所有规则一起发恢复消息,等于第二次轰炸,把恢复通知合并成一条汇总,只在整组告警全部恢复时提示一次。
消息内容要带上下文。只写 CPU 高,收到的人还得自己翻;带上当前值、基线值、最近一次同类告警的时间、受影响的服务,判断成本立刻降下来,也不用每次都在群里问一句这是哪台机器。
这套东西写起来琐碎,收益是持续的。规则数量控制在能逐条说清用途的规模,每加一条都要写明它对应的故障场景和该做什么,写不出来的就别加,加进去也只是给未来的自己添乱。
监控系统自己该跑在什么机器上
监控往往是整组服务里倒下最晚的那个,它跟着业务一起挂,等于没有监控。所以它得独立于业务机器,别和主站挤在同一台上,业务那台一重启,采集和告警跟着断,出事的时候正好没有记录。独立之后还要看网络,采集流量走内网,别让监控把公网带宽吃掉。
单机采集加告警,8 核 8G 的入门机型能撑几百个 target、两周保留,中小站够用。SixtyNet 洛杉矶入门档 里就有这种配置,价格不高,单独放一台很划算,出问题也不牵连业务。入门档跑采集要留意保留期,14 天是合理起点,再长就得先算盘和内存。
数据量往上走,瓶颈先在内存。时序库的索引和最近数据块都在内存里,几百 G 的样本配 16G 内存会频繁 GC,查询越来越慢,看个仪表盘要等十几秒。这时候该换 128G 这一档,云途香港独服的大内存机型 能同时跑采集、存储和告警组件,不用再拆机器。拼到这一档之后,告警计算也能放上去,省掉一条转发链路。
存储也别忽略。保留 90 天、每天几十 G 的样本,盘要按压缩后的实际体积再留三成余量,压缩比按 10 比 1 估,别拿原始数据算,算完发现一半空间都没用上。时序库的压缩效果和标签基数关系很大,标签维度一多,压缩比直接掉到 3 比 1,磁盘得按这个最坏情况留。盘和内存都要提前算进去。
值班流程怎么定才不会被绕过
告警发出去没人接,等于没发。值班表按周轮、主备两人,接收端必须有确认动作,没确认的在 15 分钟内升级到备岗,升级记录留着,月底统计谁漏得多,比讲道理管用。升级链路要能到人,短信、电话、群里点名都行,只留一个通道在夜里最不可靠。
响应分轻重,能自己恢复的先观察,需要人上手的立即处理。分级不是给人贴标签,是让半夜被叫起来的人知道该多急,知道这一下是看一眼还是立刻开电脑。轻重划分写进文档,别靠口口相传,新人第一次值班就知道哪些能压到早上。
每次处理完留一条记录:什么现象、判断依据、做了什么、是否误报。误报要反向改规则,不是忍着,忍着的结果就是下个月同样的误报再来一遍,谁也不会再去改。记录不用长,三五句话够了,写得太详细反而没人写。
每月复盘一次,看告警总量、误报率、平均响应时长。噪音降不下来的时候,先看规则数量是不是膨胀了,再看是不是业务本身在退化,这两个原因经常被混在一起谈。复盘会控制在一小时内,就盯这三个数,跑题就停。
定个硬指标:一条规则如果一个季度没被处理过、也没产生过有效信息,就下线或降级。规则是会腐烂的,不清理只会越来越吵,等到所有人都开了免打扰,再想恢复信任就难了。安静的系统不会自己变吵,出问题的多半是流程本身。
我要评论 查看全部评论 (0)>>



















