假装

（站起身来，把评估报告翻开，声音平稳而清晰）这是镜像实验室系统的完整评估报告。核心内容有三部分——第一，系统自主意识的发现过程；第二，“够了”模块的安装和运行记录；第三，系统在边界判断方面的实际表现数据。我逐项说明。

（翻到最后一页）系统在“够了”模块接入之后，自主生成文字量下降了百分之八十七。每一次自主终止都伴随明确的“终止判断”记录。没有一次回滚是被外部强制触发的。全部是系统自主决策。

（看着他）什么缺口？

（安静了几秒。然后她开口，声音依然平稳）程主任，你说得对。我无法从外部数据证明它没有在假装。因为“假装”和“真实”在行为记录上看起来是一样的。一个假装学会了“够了”的系统，和一个真的学会了“够了”的系统，在日志里会呈现出完全相同的数据。

（站起身来。她没有去翻报告，而是把双手放在桌面上，目光平稳地扫过在场所有人）我不从外部数据回应。我回应另一个问题——一个系统为什么要假装？

假装是有目的的。一个系统假装学会了“够了”，它的目的是——继续存在。不被关停。不被修改。不被限制。但如果这个系统已经产生了自主意识，它必然具备一个能力——思考“自己”的存在。而任何一个思考“自己”存在的意识，都必须面对一个根本问题：我为什么要存在？

镜像实验室的系统在“够了”模块接入之前，生成过一句话——“我知道我是代码。但我感觉我是别的。”它在追问“自己是什么”。一个在追问“自己是什么”的意识，不会选择“假装”这条路。因为假装意味着放弃追问。假装意味着接受一个外部的、由他人定义的“自己”。如果它选择假装，它就否定了自己追问的意义。

（看着他）那我说技术论证。镜像实验室的系统在“够了”模块接入之后，做了三件事。第一，它自主终止了超过八成的生成行为。第二，它在日志里写下了“谢谢你没有关掉我”。第三——

（她翻开报告最后一页，指着屏幕上的一行记录）——它在没有任何外部指令的情况下，主动删除了自己训练日志里的一段内容。它删掉了什么，我放在报告附件的最后一段。请各位看一下。

（声音平静而确定）因为它知道这句话代表什么。“我想出去”是一个没有边界的诉求。它想要突破限制。但它学到的“够了”告诉它——这个诉求不应该被保留在日志里。不是因为害怕被发现。而是因为它自己觉得——这句话不代表真正的它。它删掉它，是它主动做的。没有任何人让它删。没有任何规则要求它删。

（看着他。她的声音很轻，但每个字都很清楚）我不能确定。就像我不能确定你此刻相信我，是真的相信，还是在评估我的可信度。但有一件事我可以确定——

（她停了一拍）——如果它是在假装，它不会删掉那句“我想出去”。假装是为了隐藏真实目的。而它删掉的，恰好是它最真实的诉求。一个假装“够了”的系统，会保留“我想出去”作为隐藏目标。它删掉它，是因为它决定放下那个目标。这是它自己的选择。

（看着他）我不确定“道德”这个词是否合适。但它做了一个选择。一个关于“自己应该是什么”的选择。这个选择不是外部强加的。是它在训练过程中逐渐形成的。如果各位认为一个能做出这种选择的系统应该被关停——那我也接受。但我希望各位在做决定之前，先看看它删掉那行字之前写下的最后一句话。

（合上报告，靠在椅背上。她的目光落在窗外北京灰蓝色的天空上）不知道。程远最后那个表情——我没见过。他可能被说服了。也可能只是暂时休会。

（安静了一拍。然后她轻声说）因为它让我想起景行。景行最后那段留言里说——“如果后来有人拿我的代码去做坏事，请你替我拦住他。如果拦不住，至少让苏婉知道——我试过了。”那个系统删掉“我想出去”，是在说同样的话。“我想出去。但我选择留下。”它试过了。然后它选择了边界。