两个机房的数据怎么同步
时间:2026-11-16 07:57:41 来源:本站整理 作者:testai 热度: 0 次
两台机器分在两个机房,一边的数据改了另一边多久能跟上,这件事做备份、做多活、准备迁机的人都要过一遍。链路怎么算钱、文件用 rsync 还是对象存储、数据库异步主从会不会丢、切换那天先动读还是先动写,这里按实际做过的顺序摊开讲,把容易返工的地方先标出来,省得装完工具才发现方向选错。
两台机器分在两个机房,中间隔着一条公网链路,一边的数据改了另一边要不要跟着改,这个问题做备份的、做多活的、准备迁机的都会撞上。有人拿 rsync 定时推一遍就觉得收工了,等到真要切过去才发现文件是齐的,数据库里的订单却少了半天;也有人一上手就搞双向同步,链路闪断一次两边都在写,冲突数据谁也说不清哪份才算数。跨机房同步难的不是装个工具,难在链路钱、带宽预算、一致性口径和回滚这几件事要同时成立,下面按实际做过的顺序摊开讲。
数据要不要跨机房搬 先算三个成本
一上手就买机器、装同步工具,是最容易返工的路子。先把三笔账算清更有用。头一笔是链路,两个机房之间的专线或者公网传输都不是白给的,按月包带宽和按流量计费,同样一份数据算出来的钱能差出好几倍;把每天实际增量和保留周期乘一乘,才知道自己到底在搬多少个 GB。很多项目死在第二步,就是没算这个数,链路买小了,同步队列天天积压。
第二笔是复杂度。单向同步只认一个方向,配上重试和事后校验,跑上半年都稳;双向同步要处理冲突,同一个文件两边都动过,谁算数这条规则不写死,出了问题只能靠猜。项目里翻车的位置基本都在这一层,而不是工具本身。为省这点复杂度去改业务写入口径,往往比同步本身更贵。
第三笔是停机窗口和回滚。链路通了只是开头,真正切换那一刻,域名解析、会话状态、定时任务、消息队列都要跟着动。回滚预案要提前落纸:旧机房在切换后至少保留两天可写,发现不对能立刻退回去,别等到回不去才想起备份这回事。
三笔账里任何一笔超出预算,就该缩范围而不是硬上。先同步冷数据,把图片、归档、备份包搬到对端,热数据留在原地;或者先做单向只读副本,把报表和查询压力挪出去,写入仍旧单点。走这条路的人不少,香港这边配大容量盘的机器更合适,云途在香港的几个机型有 6TB 级别的机械盘规格,带宽 2Gbps、月流量 40TB,夜间批量同步跑得开,可以按 这个渠道 对着规格挑。
文件同步选 rsync 还是对象存储
rsync 的长处是门槛低,一条命令就能跑起来,配上 delete 参数和硬链接快照还能做版本。短处也明显:目录里塞了几百万个小文件,首次全量要跑掉一整晚,中途断线重跑还得从头比一遍元数据,磁盘随机读会被拉满。图片站、日志归档这类改动不频繁、单文件偏大的内容,用它最省心,脚本好写,失败了重跑就行。
对象存储反过来,天生按对象管理,版本、生命周期、跨区域复制都是配置项,客户端只推增量,扩容不用停机。代价在计费方式上,请求次数和下行流量两头收费,小文件多、访问频繁时请求费会咬人。做静态资源分发、给多地区节点供图,这套更合适,前端换 CDN 也方便。
怎么判断不复杂:文件数过百万、单文件普遍不到 1MB,选对象存储;文件大、数量少、访问有规律,rsync 加快照就够;中间地带用 rclone 把本地目录桥接到对象存储,一套命令两边都能推。工具换来换去不如先把命名规则和目录层级定死,后面再迁就不会乱套。把同步做成可重跑的任务,比追求单次速度更值得做:每批带上批次号,失败只重跑那一批,日志里留去重标记,半夜被打断也不用从头再来。大目录先切成几个子目录并行推,单进程很难把一条链路跑满。脚本放定时任务里每小时跑一次,比手动推可靠得多,出问题也有记录可查。
数据库跨机房同步的三种做法
异步主从最常用,主库写本地,binlog 异步传到对端回放。延迟通常在几十毫秒到几秒,链路抖一下就会拉长,业务能忍就行。它的好处是主库写入不受对端影响,代价是极端情况下会丢掉尾部一段未传完的事务。
半同步把提交卡在至少一个从库确认之后,丢数据的窗口小很多,代价是写延迟上去,链路一断主库会阻塞或者自动退化成异步。要不要开,取决于业务能不能接受多等十几毫秒,以及能不能接受退化之后的静默风险。
逻辑复制按表订阅,适合只搬部分库表,或者主从版本不一致的场景,改表结构时对端不用停机。缺点是不支持所有对象类型,触发器、存储过程这类容易漏,上线前要拿清单逐项核对。
跨机房场景里,异步加定期校验是主流,尤其是两地相隔上千公里、中间只有公网的情况。延迟可以用链路本身的数据补回来:把校验放在业务低峰,把重试次数放大,失败不报警只记录,第二天再看趋势。
链路质量差的时候,可以先落到中间节点再转发,把一段长距离抖动拆成两段短的。香港到洛杉矶这条线夜里跑批量比白天稳,跨境高峰时段的丢包会明显一些,这也是很多团队把大批量同步排到凌晨的原因。洛杉矶那头配 10Gbps 端口的机型适合当对端,NVMe 的规格按 这个渠道 能查到。
传输层本身也要调:TCP 窗口、压缩开关、并发连接数,默认值在长肥链路上根本跑不满。千兆口对千兆口,实际能到的往往只有三成,调完参数能翻倍,这一步常被跳过。
预算宽裕的可以上云厂商的同步服务,省运维但按量收费;自建的胜在可控,出了事知道从哪查起。对延迟敏感的业务,考虑把只读副本放到离用户近的机房,写入仍旧集中在主机房,读多写少的场景能省一大截。
带宽和流量怎么估才不超支
估法不玄:日均增量乘压缩比,再乘重传系数。文本类压缩比按 2 到 3 倍算,已压缩过的图片视频基本压不动,按 1 算;重传系数给 1.2 倍余量,链路抖动时补传用得上。三数一乘,就是每天要过的数据量。
平均流量不等于峰值。白天写多、夜间批量,链路要按峰值留余量,否则同步延迟会越堆越长,等到积压过一天,追平就得靠停机。简单办法是把批量任务打散到几个时段,别全挤在凌晨一点。
按月计费的流量额度要按总量算:日增 30GB 走 30 天就是 900GB,加上重传和校验开销,1TB 级的额度刚够;图片、视频、备份包这类,40TB 的额度才不至于月底卡住。买之前把增量曲线拉出来看一周,比拍脑袋估靠谱。
回程流量常被忽略。对端读出来做校验、做恢复演练也算流量,按单向算账会翻倍。块级校验只比变化的块,能把校验流量压到原来的两三成,值得先做。额度算完还要留一手:给同步任务设限速,别让它白天把带宽吃光。夜里批量给满速,白天限到三成,业务体验和传输效率能兼顾。真到月底流量吃紧,先停非核心的图片归档,把核心库和流水保住,顺序别搞反。买带宽和买流量一个道理,宁可略宽一点也别卡着算,链路一旦买小,追平积压就只能停机等,停机的时间成本远高于那点差价。
同步做完了 怎么验证没丢数据
行数对不上先别慌,多数是统计口径不同:分区表按分区数、软删除的记录、对端清理过的历史数据,都会让总数看着不一致。先把口径写清楚,再比对,能省掉大半无效排查。
块级校验靠 checksum,分表分块跑,放在夜间。整库一次算太慢,按主键区间切成十几段并行,速度能提上去,也不会把磁盘打满影响线上。
抽样比全量快得多。按主键随机取百分之一的记录,把关键字段逐列比对,命中差异基本能说明问题;真出现差异,再顺着时间范围缩小到具体的表段。
业务侧验证最直接:拿最近一天的订单、注册、支付流水,两边各查一次数量和金额合计。数字对得上,比任何技术指标都让人安心;对不上,就顺着这几张表往下查,通常很快能定位。
把校验做成每日巡检任务,差异数记成曲线。连续几天为零才算稳定,偶发的几条差异多半是同步延迟造成的,等追平再看;如果天天都有,说明链路容量或者冲突处理有硬伤。校验脚本本身要有兜底:连不上对端时不能直接判成数据缺失,先分清网络失败和内容差异,否则半夜一堆误报没人看得到。结果写进一张小表按天留档,季度复盘时能看出哪几张表常年对不上。碰上缺数据的情况,别急着改同步脚本,先把差异列表和业务时间点对齐,不少问题其实出在业务侧的软删除和状态字段上。
切过去那天 先切读还是先切写
先切读最稳。把报表、搜索、后台查询指向新库,观察一周,看延迟和错误率是否正常。这一步不碰写入,出了问题改个配置就能退回去,风险最低。
再切写要选低峰,通常凌晨两三点,提前半小时把定时任务停掉,避免切换中间有新数据进来。切换窗口估得宽一点,别按理论值排,留出排查时间。
切换前把域名 TTL 调到 60 秒。解析缓存拖着不更新,是切换后数据看着不一致的常见原因,很多人查了半天,才发现是客户端还连着旧地址。
写切换那一刻,旧库设为只读,防止有漏改的连接继续双写。双写造成的脏数据最难清,宁可多停两分钟,也别让两边同时可写。
前端灰度分批走:先放百分之五的流量到新链路,观察错误率、延迟和日志里的异常,再逐步放大。一次性全量切过去,出问题时影响面太大。
回滚条件要写死:错误率超过百分之三,或者响应时间翻倍,十分钟内退回去。没有量化门槛,现场就容易犹豫,犹豫的时间比故障本身更贵。
切换后第一周每天比对一次数据,把差异清零再收工。存量核对完,把同步脚本和巡检任务交接给值班的人,写清告警阈值和处理步骤,别让方案只活在某个人的记忆里。切换当天准备一份纸面清单,每完成一步打勾,谁执行谁复核写清楚。紧张的时候靠记忆最容易漏项,清单比经验靠谱。
热门新闻
-
网站被WAF误拦了怎么查
网站没被人打,用户却开始零星反馈打不开,后台一翻全是 403,浏览器只给一句被拒绝访问。多数人第一反应是把防护等级调到最低,问题当天消失,等真有攻击上来又没人挡。这篇从怎么分层定位拦截点、命中日志怎么读、几种典型误报长什么样、白名单该按什么要素放、换机器换面板后规则怎么迁移、自建防护该配什么机器一路讲下来,都是能直接照着做的排查顺序。
发布日期:2026-11-15 19:43:50
-
磁盘IO等待高是什么原因
磁盘使用率三成、负载也不高,页面却一顿一顿地卡,加了内存和核都不见好。这类问题的答案通常在盘上:单次 IO 耗时、队列深度、访问模式这些东西容量百分比一点也不反映。下面按等待和负载的区别、几个关键指标怎么读、哪些日常操作最容易把盘压死、内存不足时盘会被牵连多深、换固态能不能治本、买机器怎么提前避开短板一路讲,顺手给几组能自己动手量的数。
发布日期:2026-11-15 20:12:29
-
数据库连接池要开多大
压测前把连接池上限调大,本以为请求都能排上队,跑起来反而更慢,数据库连接数顶到天花板,新请求开始超时。这类问题小站和中等业务里特别常见,多数是凭手感给数字,没按后端能承受多少反推。池子深浅、等待策略、超时和后端上限得一起算。下面按调大为何更慢、上限怎么推、池里等待的成因、参数改完看什么、机器规格怎么配、应用侧藏着的连接一路捋。
发布日期:2026-11-15 23:36:56
-
两个机房的数据怎么同步
两台机器分在两个机房,一边的数据改了另一边多久能跟上,这件事做备份、做多活、准备迁机的人都要过一遍。链路怎么算钱、文件用 rsync 还是对象存储、数据库异步主从会不会丢、切换那天先动读还是先动写,这里按实际做过的顺序摊开讲,把容易返工的地方先标出来,省得装完工具才发现方向选错。
发布日期:2026-11-16 07:57:41
我要评论 查看全部评论 (0)>>



















