微软USB4组队跑AI:多台Win11电脑拼内存显卡算力
· 文章一根USB4线,把几台电脑拼成一台「大机器」
微软公布了一项面向开发者的新玩法:以开发者预览方式,推出基于 USB4 的远程直接内存访问(RDMA)体验,让多台 Windows 11 电脑合力运行一个 AI 模型。换句话说,手头有几台性能尚可的机器,不必再单独购置专用硬件,连上线就能把内存和 GPU 算力「攒」到一起用。
RDMA 的作用,是让一台电脑能够高效地读写另一台电脑中获授权的内存区域,减少操作系统和 CPU 在数据搬运过程中的介入,核心优势在于低延迟、高吞吐和较低的 CPU 占用。放到日常场景里理解,就是几台电脑之间的数据往来更直接、更省事。
不用专用网卡和交换机,兼容框架即可调用
按照官方描述,两台或多台符合要求的电脑通过 USB4 线缆连接后,无需另购专用 RDMA 网卡,也不用配置交换机,借助兼容的推理框架,就能调动各自的内存和 GPU 算力,共同运行一个 AI 模型。
延迟表现方面,微软测试显示,在单次传输数据量较小的情况下,电脑间通信的往返延迟约为 28 至 50 微秒,仅为同一 USB4 链路上传统以太网 UDP 方式的四分之一。这个数字意味着,多机协同的沟通成本被压到了相当低的水平。
AMD 与英特尔两套实测:三机、四机各有成绩
初步测试中,微软使用三台各配 128GB 统一内存的 AMD 迷你电脑,通过 40Gbps USB4 连接,运行 4 位量化的 2350 亿参数 Qwen3 模型,生成速度约为每秒 18.5 个词元;AMD 自测约为 22 个。
在三台搭载 AMD Ryzen AI Max+ 395 处理器的迷你电脑上,通过 USB4 实现 RDMA 的性能如下:
- AMD 测试:模型为 Qwen3-235B-A22B,4 位量化(Q4_K_M),上下文长度 1,600、生成词元数 2,048,解码速度 21.98 词元/秒,提示词处理速度 117.98 词元/秒。
英特尔这边则以四台各配 64GB 内存的酷睿 Ultra Series 3 电脑运行 GPT-OSS-120B,在约 1000 词元上下文下达到每秒 54.2 个词元。具体数据为:
- 3 台电脑、1K 上下文:首个词元生成时间 1.1 秒,解码速度 49.4 词元/秒;
- 4 台电脑、1K 上下文:首个词元生成时间 1.2 秒,解码速度 54.2 词元/秒;
- 3 台电脑、2K 上下文:首个词元生成时间 2.9 秒,解码速度 49.4 词元/秒;
- 4 台电脑、2K 上下文:首个词元生成时间 3.2 秒,解码速度 51.7 词元/秒。
本地跑大模型的「积木式」思路
从这组数据看,多机协同的价值不在于单台机器有多强,而在于把多台普通设备的统一内存与 GPU 算力叠加起来,凑出运行大模型所需的空间和速度。对开发者和本地部署爱好者来说,这种「搭积木」的方式省去了专用网络硬件的门槛,也让闲置机器有了新用途。
目前该体验仍处于开发者预览阶段,实际效果会因设备规格、连接方式和推理框架而异。