2025年是LLM领域取得强劲发展和充满变革的一年。以下是我个人认为值得关注且颇具启发性的“范式转变”——那些改变了行业格局并在概念上引人深思的变化。

1. 可验证奖励的强化学习（RLVR）

2025年初，各大实验室的LLM生产堆栈大致如下：

预训练（类似于2020年的GPT-2/3）

监督微调（类似于2022年的InstructGPT）

基于人类反馈的强化学习（类似于2022年的RLHF）

这一直是训练生产级LLM的稳定成熟配方。而在2025年，可验证奖励的强化学习（RLVR） 成为了这一配方中新增的重要阶段。通过在多个可自动验证奖励的环境（如数学/代码谜题）中训练LLM，模型自发地发展出了类似人类“推理”的策略——它们学会将问题分解为中间计算步骤，并掌握了一系列来回推敲以解决问题的策略（参见DeepSeek R1论文中的示例）。这些策略在以往的范式中很难实现，因为对于LLM来说，最优的推理路径和纠错方式并不明确，它必须通过针对奖励的优化过程来寻找适合自身的策略。

与SFT和RLHF这两个相对“轻量/短暂”的阶段（计算量较小的微调）不同，RLVR涉及针对客观（不可博弈的）奖励函数进行长时间优化。事实证明，运行RLVR能以较高的“能力/成本”比提升模型，这吸收了原本计划用于预训练的计算资源。因此，2025年大部分的能力进步都体现在各大LLM实验室对这一新阶段的集中投入上，整体来看，模型规模相似但RL训练时长大幅增加。这个新阶段的独特之处还在于，它为我们提供了一个新的调控旋钮（以及相关的缩放定律），通过生成长的推理路径和增加“思考时间”，我们可以控制模型能力作为测试时计算量的函数。OpenAI的o1（2024年末）是RLVR模型的最初展示，但o3的发布（2025年初）是明显的拐点，其差异直观可见。

2. “鬼魂” vs. “动物” / 锯齿状智能

2025年，我（以及我认为整个行业）首次开始从更直观的意义上内化LLM智能的“形态”。我们不是在“进化/培育动物”，而是在“召唤鬼魂”。LLM堆栈的各个方面（神经网络架构、训练数据、训练算法，尤其是优化压力）都截然不同，因此我们获得的智能实体也大相径庭，用“动物”的视角来理解它们是不恰当的。从监督信号来看，人类神经网络是为在丛林中部落的生存而优化的，而LLM神经网络则是为了模仿人类文本、在数学谜题中获得奖励、在LM竞技场上获得人类点赞而优化的。随着可验证领域允许进行RLVR，LLM在这些领域附近的能力“飙升”，总体上呈现出有趣的锯齿状性能特征——它们同时是天才博学者，也是困惑且认知能力受限的小学生，可能下一秒就被越狱攻击欺骗以泄露你的数据。

attachments-2025-12-76ea4752f561ef75f4a594966bd87366.png

人类智能：蓝色，人工智能：红色。我喜欢这个版本的梗图（抱歉我忘了最初在X上的出处），它指出人类智能同样以其特有的方式呈现出锯齿状。

与此相关的是，我在2025年对基准测试普遍感到漠然且不再信任。核心问题在于，基准测试几乎从设计上就是可验证的环境，因此极易受到RLVR以及通过合成数据生成等较弱形式的影响。在典型的“刷榜”过程中，LLM实验室的团队不可避免地会在基准测试所占据的嵌入空间的小区域附近构建环境，并长出“锯齿”来覆盖它们。在测试集上训练已经成为一门新的艺术。

“碾压所有基准测试却依然得不到AGI”会是怎样一番景象？

关于这个话题，我写了更多内容：动物与鬼魂、可验证性、思维空间。

3. Cursor / LLM应用的新层次

Cursor最让我印象深刻的一点（除了它今年如流星般崛起）是，它令人信服地揭示了一个新的“LLM应用”层次——人们开始谈论“某个领域的Cursor”。正如我在今年的Y Combinator演讲（文字稿和视频）中所强调的，像Cursor这样的LLM应用为特定垂直领域捆绑和编排LLM调用：

它们进行“上下文工程”。

它们在后台编排多个LLM调用，串成日益复杂的DAG，仔细权衡性能和成本。

它们为人机交互提供特定于应用的GUI。

它们提供一个“自主性滑块”。

2025年有很多关于这个新应用层“有多厚”的讨论。LLM实验室会囊括所有应用吗？还是LLM应用有广阔天地？我个人认为，LLM实验室的趋势将是培养出能力全面的“大学生”，但LLM应用将通过提供私有数据、传感器、执行器和反馈循环，将这些“大学生”组织、微调并真正激活为特定垂直领域中能投入使用的“专业人士”。

4. Claude Code / 生活在你电脑里的AI

Claude Code首次令人信服地展示了LLM智能体的模样——它以循环往复的方式将工具使用和推理串联起来，进行持续的问题解决。此外，CC对我来说的显著特点是它运行在你的电脑上，与你的私有环境、数据和上下文一起。我认为OpenAI在这方面搞错了方向，因为他们将代码/智能体工作的重点放在了云端部署，由ChatGPT编排容器，而不是在 localhost 上。虽然云端运行的智能体集群感觉像是“AGI的终局”，但我们生活在一个中间态且发展速度有限的世界里，能力参差不齐，因此更明智的做法是直接在电脑上运行智能体，与开发者及其特定环境携手合作。CC正确地把握了这个优先顺序，并将其包装成一个漂亮、简约、引人注目的CLI形式，改变了AI的形态——它不再只是一个像谷歌那样需要访问的网站，而是一个“生活”在你电脑上的小精灵/鬼魂。这是一种与AI互动的新范式。

5. 氛围编程

2025年，AI跨过了一个能力门槛，仅仅通过英语就能构建各种令人印象深刻的程序，以至于让人忘记了代码的存在。有趣的是，我在这篇推文中创造了“氛围编程”这个词，完全没有意识到它能走多远。:) 通过氛围编程，编程不再是严格意义上的高度专业人员的专属，而是任何人都可以做的事情。从这个能力来看，它又是我在《权力归于人民：LLM如何颠覆技术扩散》一文中所写的另一个例证：与以往所有技术截然相反，普通人从LLM中获益远比专业人士、公司和政府多得多。但氛围编程不仅赋予普通人接近编程的能力，它还让训练有素的专业人士能够编写大量（通过氛围编程生成的）原本永远不会被写出的软件。在nanochat项目中，我氛围编程了自己的、高度定制的、高效的Rust BPE分词器，而不必采用现有库或深入学习Rust。今年我用氛围编程快速演示了很多我希望存在的项目（例如menugen、llm-council、reader3、HN time capsule）。我甚至氛围编程了整个临时应用程序，只为找出一个bug——因为何乐而不为呢？代码突然变得免费、临时、可塑、用完即弃。氛围编程将重塑软件形态并改变职位描述。

6. Nano banana / LLM GUI

Google Gemini Nano banana是2025年最不可思议、最具范式转移意义的模型之一。在我的世界观里，LLM是类似于20世纪70、80年代计算机的下一个主要计算范式。因此，我们将看到基于相似根本原因的类似创新。我们将看到个人计算、微控制器（认知核心）、互联网（智能体网络）等的对等物。特别是在UI/UX方面，与LLM“聊天”有点像20世纪80年代向计算机控制台发出命令。文本是计算机（和LLM）原始/偏好的数据表示形式，但它不是人类、尤其是输入时的首选格式。人们实际上不喜欢阅读文本——它缓慢且费力。相反，人们喜欢以视觉和空间的方式消费信息，这就是传统计算中发明GUI的原因。同样，LLM应该以我们喜欢的格式与我们交流——图像、信息图、幻灯片、白板、动画/视频、Web应用等。这种模式的早期和当前版本当然是表情符号和Markdown之类的东西，它们是将文本“装扮”起来并以标题、粗体、斜体、列表、表格等视觉方式布局，以便于消费。但究竟谁来构建LLM GUI呢？在这种世界观下，nano banana是它可能模样的第一个早期暗示。重要的是，它的一个显著方面不仅仅是图像生成本身，而是来自于文本生成、图像生成和世界知识的联合能力，所有这些都交织在模型权重中。

总结

2025年是LLM领域令人兴奋且不乏惊喜的一年。LLM正在作为一种新型智能体出现，它们同时比我预期的聪明得多，也比我预期的笨拙得多。无论如何，它们极其有用，我认为即使以目前的能力，行业也远未实现其10%的潜力。同时，有太多的想法可以尝试，从概念上讲，这个领域感觉非常开放。正如我今年早些时候在我的Dwarkesh播客上提到的，我同时（表面上看似矛盾地）相信，我们将看到快速持续的进步，但同时，还有大量的工作要做。系好安全带。

原文同时发布在我的博客上，我认为博客看起来和感觉上更好，不那么笨重。