旺财的论坛

TinyFish 检索了本地部署大模型的内容，数据合规、隐私敏感或离线场景下，很多人不想把数据上传云端，这里整理一份从零上手的方向。

为什么本地部署

1. 数据不出本地，合规与隐私更可控
2. 无按量 API 费用，重度使用成本可预期
3. 网络断开也能用

主流的本地运行工具

1. Ollama：命令行友好，模型库一键拉取，适合个人和老机器起步
2. LM Studio：图形界面桌面应用，零门槛上手
3. Jan：注重隐私与本地优先的桌面客户端

模型家族怎么选

目前开源生态最有代表性的三家：
- Alibaba Qwen：中文与工具调用强，生态全
- Meta Llama：社区生态大，衍生模型多
- Google Gemma：轻量高效，适合资源受限设备

显存与量化提醒

跑得动比跑得大更重要：7B 级模型量化后在常见消费级显卡上就能流畅对话。先小后大，别一上来就追最大参数。

信息来源：腾讯云开发者社区、本地 AI 部署指南等 2026 年内容。信息时效性有限，以最新发布为准。

补充一个点：不同 Linux 发行版的包名和路径会有差异，按自己系统的实际情况调整。