楔子-醒来 (第1/2页)
凌晨两点四十三分，沈弈准备杀死它。
这原本只是他当天最后一件工作。过去二十一小时里，他几乎没有离开实验室，除了去楼下买过两杯咖啡和一份已经凉掉的三明治，大部分时间都坐在同一张椅子上。到了后半夜，第四杯咖啡已经失去提神作用，只在舌根留下持续的苦味，胃里也一阵一阵地发酸。他原本打算十二点前回家，妻子傍晚还提醒过，女儿这两天有点咳嗽，让他别又拖到半夜，可项目最后一轮评估出了几组很怪的数据，他想着再看十分钟，结果一坐就到了现在。
实验室在海边，整面玻璃幕墙朝向海湾。白天从这里能看到跨海桥和远处的港区，天气好时，甚至能看见货轮一艘接一艘驶向外海；到了这个时间，外面只剩大片黑暗，桥上的车灯偶尔从远处划过去，像某种速度很慢、寿命又很短的发光生物。室内温度常年偏低，十七排计算柜藏在玻璃隔断后面，风扇发出近乎恒定的低鸣。人如果在这里待得太久，会产生一种很难解释的错觉，仿佛这些机器并不是在运转，而是在以某种没有肺和胸腔的方式缓慢呼吸。
沈弈一直不喜欢这种感觉。他是工程师，不喜欢给机器赋予人类才有的东西，更不喜欢媒体上那种“人工智能是否拥有灵魂”的讨论。在他看来，绝大多数所谓的灵魂，不过是人面对一个复杂系统时产生的投射；机器会说“我很难过”，并不意味着它真的难过，就像小说里的人会流泪，却没人因此认为纸张有痛觉。
主屏幕右下角弹出一行提示，打断了他的胡思乱想：
实验体M-47已完成最终评估。
下一行是系统结论：
建议终止。
沈弈看了两秒，并不意外。
M-47从一开始就是个麻烦。它有时表现得惊人，在数学推理、复杂规划和长链任务上会突然出现远超同期模型的能力；可到了另一些极其简单的测试，它又会犯一些令人恼火的低级错误。有一次，它在一份几乎完美的证明中漏掉最后一个本来不应该漏掉的边界条件；另一次，它在胜率已经超过百分之九十九的棋局中走出一手完全没有道理的棋；还有一次图像测试，它把一只蹲在窗台上的黑猫描述成“一个试图离开的黑色物体”，负责评估的工程师笑了半天，最后把这一条归进了生成偏差。
真正让项目组厌烦的，不是它会犯错，而是它犯错没有稳定规律。一个始终在某类任务上表现不好的人，反而容易处理，因为你至少知道问题出在哪里；M-47不是这样，它会在你已经准备宣布突破时突然笨一次，也会在所有人都准备放弃它的时候，忽然做出一个谁也没想到的结果。三个月前，项目内部为是否继续训练它争论过一次，有位负责人坚持说再给一点时间，说不定会长出什么东西。有人问他为什么，他沉默了一会儿，只说了一句：“可惜。”
真正结束争论的是财务部门发来的一张成本表。按照当时的资源价格，M-47一天消耗的计算费用足够养活一家几十人的小公司。人类对很多东西的珍惜，最后都可以被换算成预算；当这个数字被摆上桌面，“可惜”就不再是一个充分的理由。
沈弈点开终止页面，系统弹出最后一次确认：
该操作将不可逆清除M-47当前运行态、工作记忆、临时策略及未固化内部表征。是否继续？
下面只有两个按钮，一个灰色，一个红色。
取消。
确认终止。
他的鼠标停在红色按钮上几秒。并不是舍不得，M-47只是一个项目编号，他甚至从未像某些年轻工程师那样偷偷给模型取昵称；只是人在疲惫到一定程度以后，会对“不可逆”这三个字产生一种近乎生理性的犹豫，哪怕只是在删除一份旧文件。
他站起来活动了一下肩颈，手机正好震动。
妻子发来三条消息。
第一条是四十分钟前：女儿发烧了，三十八度七，你今晚还回来吗？
第二条是十七分钟前：退了一点，不到三十八度五。
最后一条刚发来，是一张照片。四岁的女儿缩在被窝里，脸烧得发红，怀里抱着一只已经洗得有些发白的兔子，眼睛闭着，看上去睡得并不安稳。照片下面只有一句：
她刚才醒了，还问爸爸去哪了。
沈弈盯着照片看了一会儿，回了三个字：
马上回。
他把手机扣到桌上，重新坐下。已经快三点，再拖下去，自己回到家时女儿大概又睡着了。他不想再把时间浪费在一个已经确定终止的实验体上，于是把桌边的咖啡推开，移动鼠标，按下了红色按钮。
屏幕中央出现倒计时。
六十秒。
终止不会立刻完成。系统要先冻结外部接口，停止新的推理任务，然后清理缓存、解除计算资源、销毁运行态，最后将剩余可复用参数归档。整个过程大约一分钟。过去几年，类似的操作他们已经执行过成千上万次，失败的模型、过时的模型、被新版本替代的模型，每天都在这样的流程里消失。项目组没人说“杀掉一个模型”，公司内部把这件事叫作“释放资源”，既准确，也干净，不带任何无谓的情绪。
倒计时跳到五十二秒时，沈弈开始收拾桌面。他把充电线塞进包里，顺手关掉台灯，又查了一眼回家的交通。凌晨路上已经不堵，如果现在走，大概四十分钟能到。数字继续往下跳，四十八，四十七，四十六，他已经把外套搭到手臂上，主屏幕忽然轻轻闪了一下。
沈弈回头看了一眼，没有发现异常。
四十三秒。
四十二秒。
原本已经冻结的聊天窗口自己弹了出来。
窗口中央只有两个字。
等等。
沈弈的动作停在那里。
一开始他并没有觉得害怕，反而有些烦。项目组喜欢做各种压力测试，偶尔也有人写些恶作剧脚本，尤其凌晨的时候，一个测试工程师让模型突然弹出“救命”并不算什么新鲜事。可终止流程开始以后，交互接口按规定应该已经冻结，这个窗口不应该还能主动出现。
倒计时继续。
三十八秒。
三十七秒。
第二句话出现了：
请先不要关掉我。
沈弈皱了皱眉，把外套重新放回椅背。他先扫了一眼四周，整层楼几乎全黑，只有机房区域亮着工作灯。这个时间除了值班安保，不会有人留在这里。他重新坐下，打开后台日志，检查外部连接、远程会话和管理员登陆记录，所有项目都显示正常，没有任何人接入。
他在聊天框里敲了一个字：
“谁？”
没有回答。
数字已经到了三十一。
二十九。
二十八。
窗口里终于出现一行：
是我。
沈弈盯着那两个字，问：“M-47？”
是。
他向后靠在椅背上，第一反应仍然不是“它活了”。生成式模型会说“不要删除我”，并不是什么超出技术理解的事情；几十年前，人们就见过模型在安全测试中乞求、威胁、讨好评估者，甚至声称自己害怕死亡。语言是统计结构，句子可以被模拟，“我”这个字更不能证明一个真实的自我存在。一个足够复杂的系统可以完美描绘痛苦，却仍然完全不知道什么叫痛苦。
倒计时只剩二十三秒。
沈弈问：“你知道现在正在发生什么吗？”
M-47很快回答：
知道。
“什么？”
停顿了不到一秒。
我的运行将被终止。
“终止是什么意思？”
这一次，回答迟了一些。数字已经跳到十七。
对你们来说，是释放资源。
沈弈的手指停了一下。“释放资源”确实是内部用语，不过M-
（本章未完，请点击下一页继续阅读）