显存估少了，模型可能无法加载；只按参数量估算，又容易漏掉上下文和并发带来的额外占用。做好大模型服务器显存配置指南，应先明确是推理还是训练，再分项计算，并为运行留出余量。
第一步：确认模型与任务
先记录模型参数量、权重精度、Transformer 层数、KV 头数、上下文长度，以及任务类型。推理、全参数微调和训练的显存构成不同，不能用同一套数字套算。还要确认目标是单用户交互，还是多请求同时服务。
第二步：估算模型权重
权重的粗略计算式是：参数量 × 每个参数占用字节数。FP16 或 BF16 通常按每参数 2 字节估，INT8 按约 1 字节，4-bit 按约 0.5 字节；量化还会有比例因子、元数据等额外开销。
以 Llama 3 8B 为例，8 亿？不，是约 80 亿参数。按 FP16 粗算，权重约占 16 GB（约 14.9 GiB）。这只是权重，不含运行时缓存和工作区。4-bit 权重理论上约 4 GB，但实际加载占用会更高，且量化格式和推理软件会影响结果。
第三步：计算 KV cache
自回归生成模型会为已处理的 token 保留键值缓存。可用公式估算：2 × 层数 × KV 头数 × 单头维度 × token 数 × 每元素字节数 × 并发序列数。其中 2 表示 Key 和 Value；使用分组查询注意力时，应代入 KV 头数，而非总注意力头数。
例如 Llama 3 8B 有 32 层、8 个 KV 头，单头维度为 128。按 FP16 算，每个 token、每条序列约需 128 KiB；8K token 约 1 GiB，8 条同长度序列约 8 GiB。实际占用会受缓存精度、请求长度和框架实现影响。上下文越长、并发越高，KV cache 越可能成为显存瓶颈。
第四步：加上运行开销与余量
推理还需要算子工作区、临时张量和框架自身开销，不能把卡的标称显存全部分配给模型。初步规划可在权重与缓存估算之上预留约 10%–20% 空间；这只是起点，模型结构、推理引擎和批处理策略都可能改变实际需求。部署前应在目标软件栈中用代表性输入压测，并观察峰值显存。
第五步：按训练方式重新估算
全参数训练除权重外，还要考虑梯度、优化器状态和激活值。以混合精度训练、Adam 类优化器为例，常见粗估可按每参数约 16 字节计算，但具体实现可能保留或省去部分状态；激活值还随批量、序列长度和检查点策略变化。因此，8B 模型仅参数相关状态就可能达到约 128 GB，尚未计入激活值，通常需要多卡分片等方案。
LoRA 等参数高效微调通常减少可训练参数及其优化器状态，但基础模型权重仍须加载，激活值也没有消失。不能把 LoRA 的训练显存直接等同于权重占用。
第六步：核对多卡与显存档位
数据并行通常是在多张卡上放置模型副本，显存不会简单合并；张量并行、流水线并行或参数分片才可能把模型状态拆到多卡，但要求软件支持并会引入通信成本。选卡时，24 GB、48 GB、80 GB 等显存档位只能作为容量参照，须按单卡可用空间、并发目标和部署方式核算。
- 明确模型版本、精度、上下文长度和并发数。
- 分别计算权重、KV cache，以及训练时的梯度、优化器状态和激活值。
- 加入框架开销与预留空间，判断单卡能否容纳。
- 若单卡不足，再确认量化或多卡切分是否受模型与软件支持。
- 用实际服务配置压测峰值占用，调整批量和上下文上限。
归根结底，大模型服务器显存配置指南不是只看模型有多少参数：推理重点核对权重、KV cache 和并发，训练则必须纳入优化器状态与激活值。估算后再压测，才能把容量留给真实负载。
常见问题
显存容量等于模型可用显存吗？
不等于。系统、驱动、框架和临时工作区都会占用一部分，部署时应预留空间。
降低权重精度后，显存一定减半吗？
不一定。量化会降低权重占用，但缓存、元数据和算子工作区仍然存在；实际节省量取决于格式与软件实现。
增加上下文长度，显存会增加多少？
KV cache 通常随 token 数近似线性增长；并发序列数增加，也会相应抬高缓存占用。
多张卡的显存能直接相加吗？
不能默认相加。需要模型或训练框架支持分片；仅采用数据并行时，各卡通常各自保存模型副本。
