AI
定义 AI 精神病,第 2 部分:“高产型 AI 精神病”
精神科医生 Jeff Clark 探讨一种伴随 AI 工具过度投入的现象:产出暴增,但人对作品质量、真实价值和自身状态的判断反而减弱。
AI 工具一半像资深工程师,一半像抱着一大壶红色 Kool-Aid、从白地毯上跑过的幼儿。你的任务是判断眼前究竟是哪一个。

上周,我提出“AI 精神病”这个词至少被用来描述三种不同情况:
- 与使用 LLM 有关的真实精神病性体验,我称之为“真性 AI 精神病”(true AI psychosis)。
- 对 AI 工具过度投入,并伴随一种程度较轻的现实脱节。我称之为“高产型 AI 精神病”(prolific AI psychosis)。
- 与模仿人类连结的 AI 聊天机器人建立不良适应性关系。我称之为“准社会关系型 AI 精神病”(parasocial AI psychosis)。
随后,我讨论了真性 AI 精神病,解释了精神科医生所说的“精神病”究竟是什么,并得出结论:真性 AI 精神病通常是既有精神病的一种变体,而非一种新综合征。
这周,我将介绍自己目前对高产型 AI 精神病的理解。
高产型 AI 精神病
当一个人生成大量 AI 产出,却没有让自己工作的真实价值显著提高时,就出现了高产型 AI 精神病。在某些情况下,新的 AI 工作流程甚至会破坏价值。
例如,一名处于这种状态的软件工程师,每天可以生产数千行代码,但这些代码在现实中几乎没有用处。相反,高效的开发者可能写得更少,但他们创造的代码对用户和组织有价值。有时,他们会为代码库增加大量内容;有时,他们会用一天删除不必要的代码;偶尔,修复一个导致软件崩溃的 bug 只需要改动一个字符。代码行数与生产力只有很弱的相关性。
换成更熟悉的说法:想想你最喜欢的作家。假如你知道他目前每天可以写出值得肯定的 1,000 字,那么当他开始每天写 100,000 字时,你完全有理由担心。每天精心挑选 1,000 个好字的那份用心,不可能在产量提高 100 倍后继续保持。[1]
高产型 AI 精神病的问题不在于产出增加。(更多代码和文字确实可能意味着更高的生产力。)
真正的问题出在当事人对自身产出的感知上:他无法评估自己作品的质量。这种现象之所以仿佛精神病,是因为当事人经历了一种轻度的现实脱节:批判性思维出现缺陷。
当前的 AI 工具
在继续讨论之前,有必要先说明当前的 AI 工具。对多数人来说,AI 仍然意味着一段 ChatGPT 对话,或谷歌搜索旁边附带的 Gemini 摘要。虽然少数人可能会在使用这些工具时经历高产型 AI 精神病,但最先进的工具带来的威胁要大得多。
当前的 AI 工具与聊天机器人存在相似之处:你输入提示,它给出回答。但如今,前沿工具的外面包裹着一种名为“智能体载体”(agent harness)的程序。载体不是通过对话回答简单问题,而是为处理复杂任务而设计,会一直工作到找到解决方案。它通过自主决策、打开程序、访问互联网、编写软件等方式,像智能体一样帮助你实现目标。
优秀的载体在软件开发中尤其令人印象深刻。如果你在十年前想创建一款 iPhone 应用,需要花几十个小时阅读和编写代码,才能让一个基本版本跑起来。今天,你可以在 Claude Code 中输入几句话,再回答几个问题,几分钟后一款新应用就会出现。它不会很出色,但可能足以解决你的问题。(要让它上架 App Store 则完全是另一回事,没那么容易解决。)
开发者能做到的还要多得多。载体可以创建循环,反复调用 AI 模型,按照软件开发待办清单一步步工作,直到建成一款功能完整的应用。在有纪律的前提下,结果令人惊叹。当 AI 智能体替你完成困难任务时,感觉就像奇迹。
但每一种超能力都有代价,AI 有时会做出糟糕到令人难以置信的决定。本来改一行就能解决的问题,它却新建了好几个文件。它信心满满地告诉你新方案已经生效,而你的软件实际上却比以前更加支离破碎。代码会变成一团乱麻,既难阅读,也几乎无法扩展。许多几十年前就已经被开源方案解决的简单问题,反而被从头造了一遍轮子,让产品慢得难以忍受。我们已经找到一些缓解这些问题的办法,但掌握这门技能需要时间。
有人声称,当前 AI 模型的能力已经达到研究生水平。这与我的体验不符。它们一半像资深工程师,一半像抱着一大壶红色 Kool-Aid、从白地毯上跑过的幼儿。你的任务是判断眼前究竟是哪一个。不幸的是,两个部分都对自己的能力充满信心,而且它们不总能意识到自己已经把 Kool-Aid 洒了一地。因此,如今软件工程师的工作中,已经加入了大量困难的监督任务。[2]
还可以换个角度理解:用 AI 开发软件,就像在玩世界上对玩家最有利的老虎机。拉动手柄后,大部分结果都是大奖!绝大多数失败也很明显,损失不大。但偶尔,一次失败看起来会与成功一模一样。除非你具备拒绝“假大奖”所需的技能、专注与耐心,否则这些错误最终必将造成混乱。
高产型 AI 精神病的发展过程
为了说明使用 LLM 工具如何逐步演变为高产型 AI 精神病,让我们考虑一个假想的例子。
想象你是一名软件工程师,现在拥有一款工具,可以轻松地以过去 100 倍的速度完成某些任务。[3]
如果你喜欢构建软件,这种体验会令人无比兴奋。你可以在工作中完成更多事情,可以实现一直想做的业余项目,终于可以创造梦寐以求的电子游戏。一切可能都摆在你面前。
于是,你拉下老虎机手柄,开始行动。转轮还在转动时,你又架起更多机器。结果接连出现,你急忙跑回来审查。这一次,结果不错;但你还是不断发现偶发的 bug。于是,你设置了新机器来帮你检查工作。它们时而能发现问题,时而不能。所以你不断改进给它们的指令,赋予它们更多能力,建立一群协同解决问题的机器人。代码源源不断地涌出。
你的野心也随之膨胀。你不再只想创造新软件;你要成为第一个运营十亿美元公司的开发者。这已经被预言过了。为什么不能是你?项目范围越来越大。你兴奋得夜不能寐,只想工作。你与电脑相处的时间越来越多,与人相处的时间越来越少。那些质疑你的人根本不懂,他们的批评目光短浅。即使现在的模型还不完美,下一批工具也会变得更好。
随着时间推移,缺乏睡眠与过度专注让你离现实越来越远。你的软件在许多方面都令人印象深刻。但它有用吗?它好吗?它是人们真正需要的东西吗?你无暇顾及这些问题。你必须“逃离永久底层”。
只是想到这一幕,我就感到压力。
虽然我不认为自己曾经历过完全意义上的 AI 精神病,但我确实有过短暂的时期,当时正朝这条路走去。快速取得进展的感觉极其美妙,模型的产出有时也确实如奇迹一般。
当我意识到自己已经无法理解自己的项目时,幻觉才被打破。这在技术领域并不陌生:每一次进步都建立在层层叠加的成果之上,而我永远无法充分理解所有底层细节。[4] 但我从前从未在对其工作方式毫无头绪的情况下,写下几十个自定义文件。到后来,除非从头开始,我已经不可能再添加新功能。
我和许多有过类似经历的开发者聊过。走出来之后,生活好多了。高效的 AI 工作流程有几十种,各有优缺点。但最高效的开发者似乎都会优先考虑人类判断、睡眠,以及至少还算像样的工作之外的生活。
高产型 AI 精神病的成因
我只能对高产型 AI 精神病的成因作出推测。
AI 工具像老虎机一样的奖励机制要负一部分责任。间歇性强化(intermittent reinforcement)——在无法预测的时间表上获得积极或消极结果——是驱动人类行为最有力的因素之一。它也是 LLM 技术一个无法彻底消除的重要特征。
个人因素同样重要。我怀疑,注意缺陷多动障碍(ADHD)和冲动控制问题患者,面临高产型 AI 精神病的风险更高。同样,开放性高、尽责性低等人格特质,也可能与风险相关。
经验可能也有影响。目前尚不清楚新手开发者还是资深工程师风险更大。我怀疑新手程序员更容易受影响,但表现出高产型 AI 精神病特征的知名开发者,相关叙述也比较常见。[5]
文化层面对这项技术的兴奋,也在影响开发者的行为。这些工具在得当使用时很强大,但每一场技术革命都伴随着毫无根据的炒作和一夜暴富的计划。当上行空间如此诱人时,人很容易忽略其中的弊端。
“AI 将取代所有工作”的叙事也毫无帮助。[6] 近几个月,这种说法已有所缓和,但恐惧依然强烈。对软件开发者尤其如此,他们在被裁员后,往往很难找到新职位。在指标驱动的环境中,更多产出——即使并不真正高效——仍然能带来回报。
最后,“品味”变得越来越重要。不幸的是,它同样难以定义。我更喜欢“匠艺”这个词,对我而言,它同时包含质量与审美。无论用什么词,我都相信,对产品的评判是人类之间的对话。它有用吗?它好吗?它是人们想要的吗?它令人愉悦吗?这些都是主观品质,很难在 LLM 中找到。[7]
最后我想补充一点:高产型 AI 精神病并不只是软件开发者的问题。凡是能用 AI 自动化的事物,一旦缺乏足够的人类引导,都可能变成粗制滥造的垃圾。有意识地设置边界,是 AI 时代最重要的任务之一。
今天就说到这里。下周,我会写写人与 LLM 聊天机器人的准社会关系。
注释
- 这个类比并不完美。软件与小说有本质区别:每个软件项目都有样板代码,可用的词汇也有限。同样,软件开发中出现的问题,与其他创作活动中的问题类型不同。
- 近期推动智能体工程进步的许多工作,都在尝试应对这项挑战。但最优秀的工作仍然需要大量人类监督。
- 我对“AI 能让人的工作效率提高 100 倍”这类说法持怀疑态度。我的确遇到过一些情况:与模型交互几分钟,就可以省下一天的工作量,这符合 100 倍这个数量级。但平均生产力提升并没有这么大。每一刻节省下来的时间,也都伴随着 AI 监督工作的增加;这项任务绝非无足轻重。此外,生产力还存在其他瓶颈,包括协调、实验、理解客户、资源获取和内部政策。
- 这幅漫画之所以成为传奇,是有原因的:xkcd 2347。
- 轶事不是数据,因此还需要进一步研究。同样,指责某人患有“AI 精神病”并不总是有道理。“这没有达到我个人的质量标准”这类批评,在生成式 AI 出现之前就已经存在。
- 一个社群共同抱持的文化信念不属于妄想。技术社群有自己的奇特之处。相信(或不相信)“永久底层”、人工超级智能或 AI 泡沫的存在,并非妄想。
- 我知道有人正在研究直接向 AI 智能体销售产品的智能体经济。这不是我感兴趣的领域,但它确实引出了关于非人类品味的问题。