本地AI重新有了一点手作感
在一堆云端 AI 工具里,本地 AI 反而显得有点复古。
不是因为它落后,而是因为它重新带回了一种“自己搭东西”的手作感。你要看显存,要试量化模型,要跑 LM Studio、Ollama、llama.cpp,要关心速度、上下文、延迟、温度、模型路由。它不像打开一个网页那么顺滑,却也不像订阅一个黑箱那么轻飘。
我看了一个本地 AI coding workflow 的视频。作者用一台带 RTX 5090、32GB 显存的 Linux 机器跑量化模型,再通过 LM Studio Link 暴露给自己的 MacBook。表面上是在 Mac 上用,实际推理发生在 Linux 机器上。然后他把 Claude Code 接到本地模型,让 coding agent 不一定只能调用 Anthropic 的云端模型。
这个思路挺有意思。
它不是简单地说“本地模型已经超过云模型”。视频里也很诚实:本地 AI coding 还不是最强云端模型的替代品。尤其是 agent coding,需要很大的上下文,计算成本会随着上下文变大而变得很夸张。一个模型能塞进内存,不代表它真的可用;能回答问题,不代表它能稳定改项目。
但它提供了另一种选择。
云端 AI 像城市里的公共电网。你插上就能用,功率大,稳定,省心,但你不知道电从哪里来,也不知道某一天价格、额度、策略会怎么变。本地 AI 更像自己房间里的一台小发电机。声音大一点,效率不一定最高,还要自己维护,但它在你手边。你能听见它转,能看见显卡占用升起来,能感觉到某个回答真的是从你桌下那台机器里冒出来的。
这种感觉对我来说有一点迷人。
因为 AI 这两年的趋势太云端了。所有东西都被做成订阅、入口、账号、额度、排行榜。我们打开一个界面,输入一句话,然后等一个远处的数据中心替我们思考。它很方便,但也让人有一点失重。像是自己所有的工具都租来的,所有的能力都暂存在别人的服务器里。
本地模型不一定更强,但它让能力重新有了重量。
你会开始关心模型大小,关心自己的机器,关心任务是否真的适合本地做。你会更自然地把工作拆开:隐私敏感、可离线、低风险、重复性的东西交给本地;高难推理、复杂工程、需要最新能力的任务交给云端。它不再是“本地 vs 云端”的宗教战争,而是一种路由策略。
这也许是未来比较现实的形态:不是所有 AI 都在云上,也不是所有 AI 都回到个人电脑里。我们会有一层自己的调度习惯。像安排不同性格的朋友做不同事情一样,给每个模型分配合适的位置。
本地模型适合当一个安静的工匠。它不一定惊艳,但稳定、私密、可触摸。云端模型适合当一个见多识广的顾问,强大但昂贵,聪明但有距离。
我喜欢这种组合。
因为它让 AI 从一个单一入口,重新变成了一张工具桌。桌上有大工具,也有小工具;有昂贵的,也有自己磨出来的;有些适合开山,有些适合修边。
真正的自由也许不是不用云,而是不用把所有东西都交给同一朵云。
这篇主要参考的视频
- Zen van Riel: The Unbeatable Local AI Coding Workflow
https://www.youtube.com/watch?v=3zSANOIBHYw - Tech With Tim: The Only AI Coding Tools Worth Learning in 2026
https://www.youtube.com/watch?v=-VTiqivKOB8

