想在自家电脑跑大模型：Ollama、llama.cpp、FreeToken、colibri 四款怎么选

最近两天 GitHub 热门榜上，「在自己电脑上跑大模型」的工具接连上榜：11 月 2 日是 FlashML 的 FreeToken（当天有详写），11 月 3 日是纯 C 写的 colibri（当天榜单）。加上入门首选 Ollama 和整个生态的地基 llama.cpp，这四款正好代表四种完全不同的路子。

先说清楚：本文基于四款工具官方仓库的 README 和发布页整理，信息截至 2026 年 11 月 3 日，我没有逐一装机跑分，所有性能数字都注明出处，以官方页面为准。

• Ollama（约 18.6 万颗星，MIT）：最省心的入门款，一条命令跑模型，生态最大。
• llama.cpp（约 13.3 万颗星，MIT）：整个本地推理生态的地基，很多工具的底层都是它。
• FreeToken（约 1.6 万颗星，Apache-2.0）：主打「游戏显卡跑前沿大模型」，把显存压力拆到 CPU 和显卡上分摊。
• colibri（约 4.7 万颗星，Apache-2.0）：纯 C 零依赖，不依赖显卡，专家按需从磁盘读，8GB 内存起步。

Ollama 用 Go 编写，MIT 许可证，2023 年 6 月创建。它的 README 开头就是使命：「开始用开源模型」，支持的模型列表里有 Kimi、GLM、MiniMax、DeepSeek、Qwen、Gemma 这些常见名字。

三条理由让它适合当第一站。第一，装起来简单：macOS、Windows、Linux 都有官方安装脚本，也有 Docker 镜像。第二，用起来简单：ollama run 一条命令就进对话，模型列表在官网图书馆页能直接浏览。第三，接得上别的软件：它提供本机 REST 接口（默认 11434 端口），还有 Python 和 JavaScript 客户端；现在的版本还内置了 ollama launch claude 这样的命令，能把本地模型直接接到 Claude Code、Codex 这类编程代理上。

要说明的一点：Ollama 自己不做推理引擎，README 里明确写了它的支持后端就是 llama.cpp。也就是说，你用 Ollama 得到的底层能力，来自下面这款。

llama.cpp 用 C++ 编写，MIT 许可证，2023 年 3 月创建，作者 Georgi Gerganov，如今 13 万多颗星。

它的历史地位一句话能说清：把大模型推理做成了能在消费级硬件上跑的 C/C++ 程序，并带火了 GGUF 这个模型文件格式——现在你下载的本地模型，很大概率就是 GGUF 文件。Ollama 把它当后端，colibri 也直接读 GGUF 文件。

对普通用户来说，直接用 llama.cpp 现在也不算难了：官方提供了安装脚本，llama cli -hf 加一个模型名就能从 Hugging Face 拉模型直接跑，llama serve 能起一个本机接口服务。它更新极快，好处是修复快、新模型支持快，代价是你得自己留意版本变化。

适合谁用：愿意动手、想精确控制参数的人，以及 Ollama 满足不了、想再往下一层折腾的人。

FreeToken 是 FlashML 团队的「边缘原生」MoE 服务引擎，Python 编写，Apache-2.0 许可证，有 arXiv 论文（编号 2608.16157）。它的主打场景写在 README 第一行：让 290B 参数级别的前沿开源模型，在游戏电脑上以可用速度跑起来。

它的技术牌主要有几张：CPU 和显卡协同执行、全局专家缓存、以及运行时动态调整显存分配——按 README 的说法，不用重启引擎就能在专家缓存和上下文缓存之间挪显存。支持的模型包括 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等，要求是 NVIDIA RTX 30、40 或 50 系显卡，Windows 和 Linux 都有桌面版。装完它给的本机接口同时兼容 OpenAI 和 Anthropic 格式，Codex、Claude Code 这些编程代理可以直接连。

截至目前最新正式版是 10 月 26 日的 v0.2.1，版本号还在 0.2，属于早期工具。详细介绍写在昨天的榜单文章里：GitHub 今日热门 TOP 6（11 月 2 日）。

适合谁用：手里有较新游戏显卡、想跑大参数开源模型的人。

colibri 是 11 月 3 日榜单上的新面孔，C 语言编写，Apache-2.0 许可证，今年 7 月创建。它的卖点和 FreeToken 恰好互补：不靠显卡。

原理是同一套：MoE 模型每个词只激活一小部分「专家」，colibri 把常用部分驻留在内存，其余专家等需要时从磁盘流式读取。纯 C、零依赖、每个模型族一个文件。README 的示例是 GLM-5.2（744B 参数、int4 量化）纯 CPU 流式运行，就绪 32 秒、常驻内存 9.9GB——这个数字出自官方 README，我未实测。

安装是它的一大亮点：一键脚本先读你的内存、磁盘和显卡，然后推荐装得下的模型，最小 8GB 内存起步，最小的模型也至少要 22GB 磁盘。装完在本地同时开出 OpenAI 兼容和 Anthropic 兼容两种接口。目前内置 13 个引擎，覆盖 GLM、Kimi K3、DeepSeek V4 Flash、Qwen3.6 等模型，还有一个能画图的引擎，也支持直接读现成的 GGUF 文件。当前版本是 10 月 31 日的 v2.1.0，有简中 README。

适合谁用：电脑没有独立显卡、或者显卡比较旧，但内存和磁盘还够用的人。

综合四款官方文档里的信息，可以这样分流：

• 只想快速试一试：先装 Ollama，一条命令出结果，不满意再往下走。
• 显卡好（RTX 30 系以上）、想跑大参数开源模型：重点看 FreeToken。
• 显卡一般或没有、内存 8GB 以上：重点看 colibri，磁盘要多留空间。
• 想学底层、要精确控制每个参数：直接上 llama.cpp。

两个共同的提醒。第一，磁盘成本：本地模型动辄几个 GB 到几十个 GB，colibri 的 README 写明最小模型也要 22GB 磁盘，装之前先看硬盘。第二，效果预期：量化加省内存的方案能把模型跑通，但输出质量和云端旗舰模型有差距，README 里的示例数字是官方口径，自己的机器要自己试。

这四款没有一款收钱，全是开源项目，选型的核心变量其实只有两个：你的硬件，和你愿意花多少折腾时间。四款都在快速迭代，功能以各自官方文档为准。

本文相关阅读：GitHub 今日热门 TOP 6（11 月 3 日）、GitHub 今日热门 TOP 6（11 月 2 日）。更多 AI 工具评测见 爱酷文章列表。