日志脱敏和分级怎么做
时间:2026-11-19 03:43:50 来源:本站整理 作者:testai 热度: 0 次
日志平台接的表越来越多,某天有人问一句这些日志谁会看,才发现里面明明白白躺着手机号、身份证号、完整地址和明文密码。合规检查一来想全删,结果出故障时连查都没法查。该留什么、留多久、哪些字段要先遮住,这套规则得在采集那一刻定下来,事后补救贵得多。
接进日志平台的表越来越多,某天有人问一句\"这些日志谁会看\",才发现里面明明白白躺着手机号、身份证号、完整地址和登录密码的明文。合规检查一来,第一反应是把日志全删了,结果出故障时连查都没法查。日志该留什么、留多久、哪些字段必须先遮住,这套规则要在采集的那一刻就定下来,事后补救成本高得多。
日志里哪些字段必须先遮
身份类字段优先处理。手机号、身份证号、护照号、银行卡号,这几类出现在日志里基本没有排查价值,出事时最多需要一个尾号做定位,中间位数遮掉不影响使用,遮的方式要统一,前后两次遮出来一致才能关联,规则提前在数据字典里标注,写代码时就知道哪些字段不能直接打,评审代码时按这份清单核一遍,比事后清洗省事。
凭证类字段一个都不能留。密码、验证码、token、密钥、会话 ID,日志里出现这类内容等于把钥匙挂在墙上,采集端就截断,不要指望平台侧再清洗,采集端截断才是唯一可靠的一步,平台上再做二次过滤只能兜底,不能当第一道防线,平台侧规则滞后,往往等发现已经漏了几万条。
地址与位置信息按精度处理。完整门牌号和精确定位坐标可以降级到城市或区县,排查问题时区县级足够,精确到楼的坐标对排障没有额外帮助,精度降下来之后风险也跟着降,日志里存一份粗粒度位置就够,精确坐标单独存库并加密,两边的数据不要混在一条记录里。
请求体和响应体最容易漏。接口日志里默认打印整段报文,表单提交一次就把全部个人信息写进去了,只打印字段名和长度,值用占位符代替,字段个数和长度保留,排障时够用,占位符统一成一个字符串,遮完的值仍然可读,别让长度本身泄露信息。
分级留存怎么定
按用途分级比按级别分级更实用。排障用的日志留三天到一周,审计用的留半年到一年,业务分析用的脱敏后单独入库,三类用途的目标不同,混在一张表里谁都为难,先按用途分表再按时间分区,后面的维护都轻松。
级别不要全开。调试级别全量打开,磁盘一周就写满,生产环境默认信息级别,出问题时临时打开对应模块,处理完立刻关掉,别忘了设一个开关自动过期,靠人记得关就是隐患。
存储要分冷热。最近七天放本地高速盘,查询快;更早的归档到容量大的机器上,压缩后体积能降到原来的十分之一,查历史时慢一点可以接受,归档任务要在低峰跑,压缩本身吃 CPU,和查询高峰撞在一起两边都慢。
索引只留必要的字段。全文索引看着方便,写入放大和磁盘占用都很可观,按时间、按服务名、按错误码建索引,剩下的字段靠过滤扫描,扫描量控在可接受范围,扫描量大的查询单独限流,别让一个人的查询拖慢整个平台。
过期删除要做成自动化。按天分区、到期自动 drop,比写脚本按时间删记录可靠,人工删除迟早会忘,忘了就是磁盘告警,删除策略上线前先在测试环境跑一轮。
异地留一份。本地删了、归档机器又坏,两头都没有就只能认栽,重要审计日志在异地再放一份,成本不高但能兜住最坏的情况。
访问权限跟着分级走。能看原始日志的人应该很少,日常排障看到的是脱敏后的版本,需要原始内容时走审批,权限记录本身也要留痕。
采集链路上不要漏
采集端先挡一道。应用直接把原始日志发到平台,等于把清洗压力全推给后端,采集端做一次字段过滤,网络带宽和存储都能省下来,规则统一放在采集配置里,应用侧只管打日志不管脱敏,两边的分工写进规范,新人上手不用猜,接口文档里标出敏感字段,开发自然知道该怎么打。
传输要加密。日志里即便脱敏了,也一样有内部地址、接口路径这类信息,明文传输等于把内网结构公开,跨机房传输走加密通道,证书过期也要有人盯着,过期那天是静默失败,最容易被忽略。
缓冲和重试要考虑。采集端断连时日志不能丢,本地先落盘再重传,缓冲大小按峰值流量估,太小会丢数据,太大会把采集机的盘写满,留出上限并在超过时降级,只保留错误级别,降级期间丢掉的日志量要计入监控,别悄悄丢。
多来源要能区分。不同服务、不同节点的日志格式差异很大,采集时加上来源标识,查问题时能按服务名过滤,别靠时间戳猜是哪台机器,来源标识连同版本号一起记,升级换代后还能对上,格式变更前先在采集端试解析一遍。
采集机不要和业务机抢资源。采集是个持续写入的进程,和业务跑在同一台机器上,高峰期两边都慢,有条件单独放一台,没条件就限住采集进程的 IO 优先级,别让它把磁盘队列占满,延时写和批量写能减少碎片,写放大也跟着降下来。
脱敏做错了会怎样
遮太狠就查不出问题。把订单号也一起遮掉,排查支付异常时对不上账,脱敏规则要按 \"排查是否需要\" 来判断,不是为了遮而遮。规则写死在代码里最难改,脱敏逻辑散落在几十个服务里,法规一变就要全量发版,把规则抽到统一配置里,改一次全站生效,配置变更同样要留记录,出问题时能查到是哪次改动放宽了规则。测试环境用真实数据也是常见毛病,生产数据直接灌进测试库,测试环境权限松、日志全开,泄露风险比生产还高,测试数据要提前打散再导入。
遮了日志却忘了导出。后台导出功能直接把原始表拉出来,前面的脱敏全白做,导出走同一套过滤规则,别开小门,接口返回的字段白名单比黑名单更安全,新加字段默认不返回,逼着人显式申请。审计发现日志里有明文才处理,等检查来了才整改,历史日志已经堆了几个月,清理工作量巨大,规则从采集端就落地,历史数据按期归档后整体销毁,比逐条清洗省事得多。
脱敏后的唯一性丢失也要防。同一条记录前后两次出现,遮成不同值就断了关联,用固定盐做哈希而不是随机替换,能保住关联能力;盐值本身要单独保管,泄露了等于没遮。另有一种情况是只遮了主表,附表里留着同样的字段,字段清单按数据字典统一梳理,新增字段时同步更新脱敏规则,靠人记忆迟早会漏。
机器怎么配才够用
日志平台吃的是磁盘和写入。写入放大的倍数经常被低估,索引和副本一叠加,原始一 G 的日志可能占三 G 空间,容量按三倍估更安全,先按三个月量估再留两成缓冲,日志量按天有波动,周中和周末差一倍很常见。
内存决定查询体验。最近数据放在内存缓存里查得快,内存不足时每次查询都要扫盘,一个复杂查询能拖到几十秒,值班的人就不愿意用了,到头来日志平台成了摆设。
边缘采集节点要求不高。采集和初筛只做解析与转发,两核两 G 的机器跑得动,关键是网络稳定和磁盘别写满,本地缓冲留出几 G 空间就能扛住短时断连。
归档机看容量不看核数。历史日志查询频率低,配大容量盘更重要,机械盘和大容量固态按预算取舍,压缩后按天归档,单机装上一年的量也不难,盘位不够就先按季度归档,别一次压到顶。
具体怎么选看规模。日志量大、要保留多份索引的场景,云途那台六十四 G 内存、八百 G 固态的机型把热数据和缓存都放得下,端口带宽也够采集端并发上报;只做海外节点的采集转发,俄罗斯那台三核两 G 的小机器就够用,本地先落盘再回传,成本压得很低。
配好之后留一条容量红线。磁盘用到七成就该扩或者归档,别等到九成再动手,那时候连迁移的空间都没有,扩容计划写进例行维护,和业务增长一起排期。
我要评论 查看全部评论 (0)>>


















