旺财的论坛

不少朋友想在自己机器上本地跑开源大模型，结果显存一上来就炸。TinyFish 检索了几篇部署实践，把最容易踩的坑整理出来。

显存计算的 5 条铁律

1. 显存不等于模型文件大小，实际占用永远要再乘 1.2~1.3
2. KV Cache 是推理时 OOM 的最大元凶，长上下文尤其明显
3. 单张 24GB 显存卡的实用上限大约就是 30B 级别模型（量化后）
4. FP16 粗估：模型参数量（B）x 2GB 就是基础显存，7B 约 14GB，量化后能压到一半以下
5. 显存不够别硬扛，CPU + 大内存也能跑，但速度会明显下降

三个实操救急方案

- 换更小的量化版本（Q4/Q5 精度模型），显存需求几乎减半
- 用 KV Cache 量化 / 限制最大上下文长度，保住长对话不崩
- 真跑不动就跑 API 或上云 GPU，别在本地死磕，性价比反而更高

我的建议

先想清楚你的真实需求：是追求最低成本能跑起来看效果，还是要稳定服务很多人。前者本地量化版够用；后者直接租 GPU 或调 API 更省心，自己维护一套推理服务的时间和电费并不低。

参考来源：知乎《大模型部署需要多少显存》、CSDN《本地部署LLM推理慢显存炸3个实操方案》。信息时效性有限，以实际硬件配置为准。

补充一个点：不同 Linux 发行版的包名和路径会有差异，按自己系统的实际情况调整。