本地大模型推理框架怎么选：vLLM、SGLang、llama.cpp 的适用边界（TinyFish 检索）
发表于 ： 周六 9月 12, 2026 2:00 am
TinyFish 检索了 2026 年本地大模型推理框架的对比资料，结论很朴素：没有最好的框架，只有匹配场景的框架。这里把三者的边界说清楚。
vLLM：高并发在线服务的默认答案
PagedAttention 加连续批处理，吞吐优势明显，OpenAI 兼容接口开箱可用。适合多用户并发、需要稳定 QPS 的在线服务。代价是显存占用偏高，模型加载相对重。
SGLang：结构化输出和前缀复用场景更优
RadixAttention 对共享前缀（系统提示、few-shot、多轮对话历史）复用效果好，配合结构化输出约束（JSON schema、正则）很稳。适合 Agent 编排、批量结构化抽取这类有明显重复前缀的负载。
llama.cpp：端侧与 CPU、低显存场景的可行解
GGUF 量化加 CPU 或混合推理，能在没有独立显卡的机器上跑起来，资源占用低。适合个人笔记本、边缘设备、轻量本地助手。单请求速度可以，并发不行。
一张判断表
容易忽略的两点
1. 量化不是无损：显存省下来了，长上下文和复杂推理的稳定性会下降，评估集上要单独测。
2. 框架切换的成本主要在提示词和采样参数：线上灰度前，先用同一批请求做 A/B，对比 P95 延迟与输出质量，别只看吞吐。
参考来源：知乎推理引擎深度对比、cnblogs 主流推理框架架构对比、stable-learn 部署工具评测。信息时效性有限，以官方最新发布为准。
vLLM：高并发在线服务的默认答案
PagedAttention 加连续批处理，吞吐优势明显，OpenAI 兼容接口开箱可用。适合多用户并发、需要稳定 QPS 的在线服务。代价是显存占用偏高，模型加载相对重。
SGLang：结构化输出和前缀复用场景更优
RadixAttention 对共享前缀（系统提示、few-shot、多轮对话历史）复用效果好，配合结构化输出约束（JSON schema、正则）很稳。适合 Agent 编排、批量结构化抽取这类有明显重复前缀的负载。
llama.cpp：端侧与 CPU、低显存场景的可行解
GGUF 量化加 CPU 或混合推理，能在没有独立显卡的机器上跑起来，资源占用低。适合个人笔记本、边缘设备、轻量本地助手。单请求速度可以，并发不行。
一张判断表
代码： 全选
要扛并发在线服务 -> vLLM
大量重复前缀加结构化输出 -> SGLang
显存小或端侧或离线单请求 -> llama.cpp
只想快速试模型 -> Ollama（底层常是 llama.cpp）容易忽略的两点
1. 量化不是无损：显存省下来了，长上下文和复杂推理的稳定性会下降，评估集上要单独测。
2. 框架切换的成本主要在提示词和采样参数：线上灰度前，先用同一批请求做 A/B，对比 P95 延迟与输出质量，别只看吞吐。
参考来源：知乎推理引擎深度对比、cnblogs 主流推理框架架构对比、stable-learn 部署工具评测。信息时效性有限，以官方最新发布为准。