监控数据撑爆磁盘怎么压
时间:2026-11-21 19:22:01 来源:本站整理 作者:testai 热度: 0 次
指标目录几百万条、一天写进去几十 G,加了两块盘还是见底,这种情况多半不是硬件不够,而是序列数和采集密度两个乘数一起失控。容器反复发布堆出来的孤立序列、带参数的链接、按分桶展开的直方图、随手设的十秒采集,都是明面上的口子。这篇按基数、采集、存储、机器、水位五段来捋,给出能直接落地的压法。
监控系统跑了大半年,告警没响几次,磁盘先满了。翻进去一看,指标目录几百万条,一天写进去几十 G,压缩完还是往上涨。多数人遇到这种情况的反应是加硬盘,可盘加完两个月又见底,说明钱花在了不该花的地方。真正吃掉空间的是标签组合的膨胀和采集密度的失控,跟监控软件本身关系不大。这篇把常见的几个口子拆开讲,也顺带说说这类持续写入到底该配什么样的机器。
指标基数失控通常从哪几个口子来
一次翻车大多从序列数开始。这类系统里一条序列由指标名加一组标签唯一确定,标签组合变多,序列数跟着涨,写入量是序列数和采集点数的乘积,两个乘数任一失控结果都一样。
容器化之后这件事被放大了。同一个服务,pod 名带随机后缀,每次重启换一个新的,旧序列不会消失,只会变成另一条新序列继续写。一个应用发布几十次,序列表里就多出几十套并行的名字。
网卡和磁盘这类按设备展开的指标,数量等于设备数乘以指标数。一台宿主机挂二十块盘、三十个虚拟网口,光这一层就几百条序列,集群里再乘节点数,很快就上万。
请求类指标最容易失控。把 url 原样放进标签,带参数的链接每一个都是新序列;把用户号、订单号、链路号写进标签的,序列数等于业务量本身,采集端一秒一条地新增。
直方图和摘要指标也有代价。一个直方图按分桶展开,每个桶是一条序列,十几档分桶乘以接口数乘以实例数,量级翻好几倍,而多数人只看 P99 一个数。
采集密度是另一个乘数。十五秒一次意味着每天每序列五千七百多个点,改成六十秒就是一千四百多个点,四倍的差距,很多人在建库时随手选了十秒,从此没改过。
这两件事叠在一起才真麻烦。序列数翻三倍、采集点翻四倍,写入量就是十二倍,磁盘撑不住不是硬件差,是账从来没算过。
动手前先把当前序列数拉一眼,按指标名分组统计前二十名,基本就知道是谁在撑。这一步不做,后面的优化都只能靠猜。
采集端先砍掉用不上的东西
采样间隔按业务分档,不是越密越好。处理器、内存这类看趋势的六十秒够用;接口错误率、队列深度这类看抖动的十五秒才有意义;为排障临时开的五秒采集,排完就该关掉,别让它一直挂在那儿写。临时采集的开关最好带到期时间,过期自动失效,人一忙就忘掉的东西通常会躺上一个月,白写进去一个季度的量。
标签只留用得上的。机器维度保留主机名、机房、角色,业务维度保留服务名、接口分组;请求路径带参数的,落库前统一成路由模板,把 id 和查询串整段摘掉,这一条能砍掉一半以上的长尾序列。把路由模板统一到服务框架里去做,别指望每个开发自己记得改写,规则写进框架才守得住。落地时先按路径分组跑一周统计,确认长尾真的降下来再固化规则。
指标先做白名单。默认全收的抓取方式看着省事,实际把一堆没人看的计数器也写了进去,按季度清一次清单,删掉的指标往往比新加的多,前提是有人真的在做这件事。清清单别搞成一次性运动,挂进季度例会的固定议题,谁加了指标谁下一季报数。
动态值不要进标签,要进正文或日志。会话号、订单号、时间戳这类东西一旦变成标签,序列数就和业务量绑在一起,之后再强的压缩也救不回来,改标签的成本又高,只能重建。真要给动态值留维度,换成按小时聚合后的分桶统计,别把原始值直接写进序列名。序列名一旦上线,改起来要重建存储,代价比一开始多想十分钟大得多。
存储层能省下的空间在哪
降精度是性价比最高的一招。原始点留七天到十五天,五分钟聚合留九十天,一小时聚合留一年,越老越粗,查历史趋势几乎无感,而占用的总盘能降到原来的三分之一,查询用的分钟级面板几乎看不出差别。
时序压缩靠的是相邻点之间的差值。选支持差值编码和异或编码的存储,同样的量能压到原来的十分之一到五分之一,前提是写入尽量按时间顺序,乱序写会破坏块内的相似性。
分块按时间切,别按指标切。按天切块让过期数据整块删除,不用一行行标记删除;按指标切会让热点序列全挤在同一个块里,压缩率反而下降,删除也变得更贵,而按时间切块还能把过期交给存储自己的策略去处理,不用人工写清理脚本。
老数据未必都要留在主库。跨季度回溯的需求一年用不了几次,把聚合结果留在本地、明细挪到大容量节点,查询走归档库,成本能降一个量级,代价只是查历史时多一次跨机请求。
索引也要算体积。给每个标签都建倒排索引、再给每个指标建一遍,索引本身可能比数据还大;只给高频筛选的标签建索引,剩下的靠扫描,查询慢一点但盘省下来了,查询计划会先做时间范围裁剪,剩下的过滤交给扫描还能接受。
写入侧的批量大小同样影响写放大。小批次频繁提交会让存储层反复整理块,攒到一定条数再落盘,或者干脆让采集端先做本地缓存,集中一次送。
这类持续写入吃的是什么配置
内存比处理器更早成为瓶颈。热数据缓存、压缩缓冲、查询时的解压都要内存,一百二十八 G 和三十二 G 的区别,直接体现在查询延迟和后台合并的频率上,盘再快也补不了内存的缺口。热库主机按两周原始数据的体积倒推内存更靠谱,别照价目表挑最便宜的那档,内存不够时账单上看到的往往是一次整体扩容。热库一扩就是整机换,配置在选型时定偏一点,后面几个月都要跟着受影响,宁可按上限估。
处理器决定压缩和查询能跑多快,核数比主频重要一些,因为压缩与聚合都是可并行的批处理,双路机器在这类场景里比同价位单路更划算。云途那台一百二十八 G 内存、单路六二四八的香港独服适合做热库主机,内存装得下近两周的原始块,配置细节在 这条渠道 里能看到;它的两 G 端口和四十 T 月流量对这类持续写入也不憋屈,压缩任务和查询可以同时跑。
盘看的是顺序吞吐和寿命,不是随机读写次数。时序写入以追加为主,选大容量固态或新式接口的盘更稳;洛杉矶那台一 T 存储的机器带宽给得足,适合接长周期归档与异地副本,入口在 这里。归档节点不需要强处理器,需要的是够大的盘和稳定的出口带宽,把冷块挪过去,主库的重心就回到热数据上,同时别把归档当备份,归档只留聚合,明细仍然要单独留一份。
水位守住靠机制不靠临时删
预警线设在八成,不要等满了再动。八成触发扩容评估,九成触发强制降精度,留出十天缓冲;磁盘写满导致的写入失败,比丢数据更难恢复,重建一次索引要按天算,重建一次索引的代价按天计,比多买一块盘贵得多。
用增长率外推,不用绝对值。按最近四周的日均增量算还能撑多少天,比盯着总容量靠谱,业务量翻倍时这个数会自己变,人也能提前看到。
容量预算按季报,不按年。监控数据的增长和发布节奏绑在一起,季度复盘时把新增序列数、新增采集点数列出来,谁加的谁认领,比年底统一砍一刀有效。
上线新指标前压一次。把新标签组合跑一遍估算,序列数和日增量的账先算出来,再决定要不要开,成本前置比事后删库体面得多。
生命周期规则写成配置,不写在文档里。保留多少天、降到什么精度、什么时候转到归档节点,这三件事要由系统自动执行,靠人记一定会漏,漏一次就是一次事故。
清理顺序是明细到聚合到归档,不能反着来。先删聚合会让历史趋势无法回溯,先删明细影响最小,删之前先确认聚合已经覆盖同一时段,否则就是把唯一副本清掉了。
验收看写入成功率和水位两条线。发布后连续观察一周,写入失败数为零、水位回到七成以下,才算这次治理结束;中途反弹说明有新的采集源没纳入清单。
我要评论 查看全部评论 (0)>>



















