收藏本站

首页 主机 手机网游 单机手游 手机应用 智能应用 排行榜 专题合集 文章

您现在的位置:首页 ›› 攻略 ›› k73问答

网卡多队列怎么绑核

时间:2026-11-22 07:49:57 来源:本站整理 作者:testai 热度: 0 次

十个G的口只跑出三个G,很多人的第一反应是线路限速。把 top 按 1 摊开,带宽没满、CPU 也不忙,却有一个核的软中断常年满格,问题就在收包全挤在一个核上。队列开多少、中断往哪绑、绑完怎么验证,这篇按排查顺序讲一遍,顺手把万兆口跑不满的常见误区一起说清。

十个 G 的口挂上机器,iperf3 单流只跑出三个 G 出头,换一台同机房的机器却能跑到八个 G,第一反应通常是线路被限速、交换机端口有问题。把 top 按 1 摊开看,带宽没满、CPU 总体占用不到一成,但有一个核常年贴着百分之百,si 那一行的数字一直在跳。这种情况和线路基本无关,问题多半出在网卡队列没铺开、收包中断全挤在一个核上。下面按排查顺序,把怎么查、队列开到多少、中断往哪绑、绑完怎么压测验证一起说清楚。

先看中断是不是全挤在一个核上

登录机器先看 /proc/interrupts 里网卡那几行,每一行后面跟着一长串数字,对应每个逻辑 CPU 收到的中断次数。队列铺开的机器,几个核的数字应该差不多;如果只有第一列在涨、其余全是零,说明网卡只开了一个接收队列,所有包都进了 core0。这个文件是判断的第一手材料,比任何面板都直接。

再打开 top 按 1 展开每个核,盯 si 这一列。业务进程占用不高、si 却长期在七八十,基本就是收包这个动作把单核占满了。这时候加 CPU 没用,因为多出来的核没分到中断;加内存也没用,因为瓶颈根本不在内存。先把方向定在收包侧,能省掉一大半试错。

确认队列数用 ethtool -l 查,输出里 Current hardware settings 那段的 rx 数量最关键。不少云主机默认只给一个队列,或者给的数量和实际核数对不上,看着有八个逻辑核,网卡只开了一个 rx。这里的数字和 /proc/interrupts 里网卡那几行是能对上的,一个队列对应一组中断号。

另一种坑是队列开了、中断被 irqbalance 乱分。它按负载自动迁移中断,几个队列全落在同一个物理核的两个超线程上,表面上核多,实际收包还是挤在一起,而且迁移过程本身会带来抖动,看监控像随机波动。

先分清是单流受限还是多流受限。一条 TCP 连接的吞吐受拥塞窗口和往返时延限制,跨境链路跑三四个 G 很正常;开八个并行流还上不去,才是收包侧的问题。用 iperf3 两种跑法各测一次,两个数字一对比,方向就定了。

网卡多队列怎么绑核

走到这一步,接下来的动作就是调队列数、绑中断。手里只有一台小机器做转发或者中转,洛杉矶那条入门线上就有现成规格,够跑日常流量;真要把十个 G 摊到多个物理核上,机器得有足够的核数和独立网卡槽位,香港独服这类机型更适合这种活,配置点进去就能对照核数和端口。

队列数开多少 单流和多流是两回事

队列数的上限写死在网卡里,ethtool -l 输出中的 maximums 就是硬件能给的最多队列。把 Current 调到和物理核数相同是常见做法,超过物理核数几乎没有收益:每个队列都有独立的中断号、环形缓冲和描述符,队列太多会互相抢 LLC 缓存,缓存命中率掉下去,延迟反而变高。

超线程不能当独立核算。两个逻辑核共享一套执行单元和一级缓存,收包这种纯计算型任务绑在同一个物理核的两个超线程上,收益接近零,还会互相拖慢。绑核前先用 lscpu 看清哪些逻辑核属于同一个物理核,把队列分到不同的物理核上,这一步做对了,后面的调优才有意义。

单流的上限是物理规律,不是配置问题。带宽时延积决定了一条连接最多能在途多少数据,香港到内地往返二三十毫秒,窗口开到几十兆字节也就三四个 G。想把万兆打满只能靠多流,客户端多起几个 worker,服务端多开几个监听线程,让流量自然散开。

多流往哪个队列走由哈希决定。四元组(源地址、源端口、目的地址、目的端口)算出队列号,客户端源端口固定、目标地址固定的连接永远落在同一个队列上,看起来流量很大,实际只用了一个核。要么在客户端改端口分配策略,要么在服务端把监听端口拆成多个,让哈希有得选。

网卡多队列怎么绑核

这也是大带宽机型要配足核数的原因:四十线程的机器摊八个队列给收包,剩下三十二个核给业务线程,才撑得住万兆满跑,香港这批按核数分档的独服就是照这个逻辑选的。

绑核的两种做法与 NUMA 站位

绑中断最直接的方式是往 /proc/irq 目录下对应中断的 smp_affinity_list 里写核号,写进去之后这个 rx 队列的中断只会送到指定核,其他核完全不参与。写之前先确认 irqbalance 是否在跑,它在的时候你改一次它掰回一次,等几分钟再看又散了,白忙一场。

更稳的做法是把 irqbalance 停掉,或者用 --banirq 把网卡中断排除在它的管理范围之外,让绑核的值固定下来。生产机上推荐后一种:其余设备的中断还交给它管,网卡这几个关键队列由你手工控制,两边不打架。

硬件队列只有一两个的老网卡,可以开 RPS 在软件层把收包分发到多个核,接收端再配 RFS,让处理落在跑业务线程的那个核上,避免数据在核之间来回搬。代价是跨核传递要过一遍内存,延迟比硬件多队列高一截,适合队列改不动的环境。

站位问题比绑核本身更容易被忽略。网卡插在哪条 PCIe 槽就归属哪个 NUMA node,中断绑到同 node 的核,收上来的数据才能就近命中本地内存控制器;绑到远端 node,每个包都要跨一次互联,延迟和带宽都要打折扣。

查站位看 lscpu 的 NUMA 分布,再读 /sys/bus/pci/devices 下网卡设备目录里的 numa_node 值。中断落在远端 node 的时候,一次跨 node 访问的延迟是本地的一点五倍往上,这个差距在 PPS 上百万的场景里会被放得很大,比队列数的影响更明显。

绑完还是有一个核吃满,先核对队列号和中断号是否对上了,eth0-rx-0 和 eth0-rx-1 的中断号可能差得很远,写错文件等于没绑。业务进程恰好跑在被绑的那个核上,也会把收包的时间片抢走,看 per-process 的 CPU 占用就能发现。

一台机器跑多个业务时,把收包核和业务核分开,代价是核数要留余量。四十线程的机器拿八个核专门收包、做软中断,剩下三十二个核才够把业务线程铺开,这也是高流量场景偏爱核多机型的原因,核少的机器往往卡在收包和业务抢核上。

网卡多队列怎么绑核

虚拟化和容器里的队列 压测怎么验

云主机里的网卡是 virtio 设备,队列数由宿主机侧下发,你在里面 ethtool -l 往往改不动,能调的只有队列缓冲深度和 offload 开关。看到队列只有一个又改不了,要去宿主机侧确认给虚拟机开了几个队列,光在客户机里折腾是改不了的。

容器和宿主机共用网卡,队列、中断、绑核都属于宿主机这一层,容器内的 sysctl 和 procfs 碰不到这些。容器里看到 si 高,要去宿主上看中断分布和软中断在哪几个核上,把收包核和容器绑定的核错开,比在容器里调参数有效得多。

压测别只盯带宽这一个数字。同样跑到八个 G,PPS 从五十万涨到两百万,单核能不能扛住完全是两个结果,测试时把 PPS、每核 si、软中断队列长度一起记下来,才看得出收包侧剩多少余量。

判断是否铺开有个土办法但管用:si 是否分散到多个核、单核是否低于七成、带宽是否到线的八成以上。三条都满足,收包侧基本没有瓶颈,剩下的问题在应用处理或者路径质量上,再调队列也白搭。

选机器的时候重点看物理核数量和网卡插槽,虚拟化环境还要确认宿主机给的队列数。洛杉矶十 G 端口那台适合做大流量转发和视频回源,跨境链路延迟要求高的业务则更看重香港这边的低延迟,香港这几档独服的核数和带宽搭配点进去就能逐项对照。

收藏本站 | 联系我们 | 发展历程 | 版权声明 | 下载帮助 | 广告服务 | 软件提交 | 意见反馈

Copyright 2008-2025 破解游戏排行榜 版权所有 鄂ICP备17000873号

k73所有游戏及软件下载资源均来源自互联网,并由网友上传分享。如有侵权,请来电来函告之。