Distribued Training 发表于： 2025-03-08 分类于： ML-related通信实现方式 机器内通信 NVLink：GPU之间直接通信的技术。NVLink 3.0 的单向带宽可达 50 GB/s。PCIe：一种通用的高速总线标准，用于连接 GPU、CPU 和其他外设。 在 PCIe 架构下，GPU 之间的通信需要通过 CPU 和系统内存，带宽和延迟不如 NVLink。PCIe 4.0 x16 的单向带宽为 31.5 GB/s。 PCIe Switch 用于扩展 PCIe 通道，允许多个设备共享带宽。机器间通信 TCP/IP: 通信速率收到硬件限制，比机内通信更慢。