1. 服务器内网互联带宽（多卡 / 多机分布式训练，..关键）

单机内多卡：主要看 PCIe 带宽；跨服务器分布式训练，依赖机房内网（InfiniBand IB 高速网络，或万兆 / 25G 以太网），用于多 GPU 之间交换梯度参数。

分布式训练通信量 ≈ 模型参数总量 × 迭代频次 × 并行节点数量

简易估算公式单轮迭代通信数据量（Byte）≈ 模型参数量 × 4（FP32 精度，单参数 4 字节；FP16 为 2 字节） 每秒通信流量 = 单轮通信量 × 每秒迭代次数

举例：7B 大模型，FP16 训练，模型参数约 14GB。如果 4 台服务器分布式并行，每一轮迭代需要交换约 14GB 梯度数据；若每秒 0.2 次迭代，每秒通信流量约 2.8GB/s，对应需要 25G 以上 IB 网络，普通千兆 / 万兆以太网会形成严重通信瓶颈，GPU 算力跑不满。

• 小规模微调（LoRA，单台 8 卡以内）：只加载少量 LoRA 权重，通信量低，万兆内网基本够用。

• 大模型全参数训练、多机多卡集群：优先选择 IB 高速网络，否则 GPU 大部分时间在等待数据传输，算力利用率极低。

2. 机房外网 BGP 出口带宽（贵阳机房对外带宽）

外网不参与训练过程的梯度交换，只负责：数据集上传、模型权重下载、远程 ssh 调试、训练结果导出、可视化监控。 外网带宽测算逻辑： 1）一次性数据集上传：属于一次性流量，只决定上传耗时，不影响训练运行。

上传耗时 = 数据集总大小 ÷ 外网带宽 例：1TB 数据集，100Mbps 外网带宽，理论下载速度约 12.5MB/s，完整上传大约 22 小时；500Mbps 带宽，只需要 4.5 小时。 方案优化：推荐提前把数据集导入机房本地存储，训练时走内网读取，不占用外网。

2）训练过程实时外网流量：训练中流量很小，主要是日志、监控指标、少量 checkpoint 保存，10~50Mbps 外网基本足够；只有频繁导出大模型 checkpoint 快照时，才需要临时扩容外网带宽。

（声明：本文来源于网络，仅供参考阅读，涉及侵权请联系我们删除、不代表任何立场以及观点。）