第43天,王医生带了个东西来——一个简易的检测脚本。
"先摸清楚它到底是个什么结构。"他说,"不然每次都是猜。"
老陈点头,把平板接过去。
跑完大概两分钟,结果出来了。王医生看完,把屏幕转向我们。
上下文窗口:3 条。
注意力层:1。
老陈看了三遍。
"三条?"
"三条。"
"什么概念。"
"就是你跟它说第四句话的时候,第一句已经不存在了。"王医生说,"它不是忘了,是压根没地方放。"
"那一层注意力呢。"
"一层。"王医生说,"正常来说,模型靠多层注意力去建立词与词之间的关联。一层,等于它只能看眼前,看不到关系。"
老陈沉默了一会儿。
"所以它前几天答数学题,不是它想答数学题。"
"是它只能抓住最近那几条里的某个特征,然后顺着往下生成。"王医生说,"抓到什么算什么。"
"那'未矫正'这个说法……"
"没错,但不完整。"王医生说,"未矫正是行为层面的问题。架构是更底层的。这两件事叠在一起,就是你现在看到的这个状态。"
中午,老陈做了个实验。
他输入第一条:坛子编号规则是什么。
【编号:主___/总。___备注__可选。____】
第二条:今天卖了几格。
【_未__记录。____需手____动登记。】
第三条:你还记得第一条问的是什么吗。
【_未检索_到相关上下__文。】
老陈:"它连三条都记不住?"
"三条是上限,不是保证。"王医生说,"注意力只有一层,它能不能把这三条真正串起来,是另一回事。"
老陈又输入第四条:那第二条呢。
【_____建_议按__周___汇总。】
"这算什么。"
"算串味了。"我说,"它把之前某条里的碎片,接到现在这条上了。"
下午两点,情况变了。
老陈输入:你现在能正常响应吗。
屏幕停了一下,然后出的不是自然语言。
【f(x) = Σ w_i · x_i + b ;attention(Q,K,V) = softmax(QKᵀ/√d_k) · V】
老陈往后退了半步。
"这是什么。"
"函数。"我说,"未转换的。"
"未转换是什么意思。"
"意思是它本该把这些东西渲染成人类能读的描述,但它没渲染,直接把底层的表达式吐出来了。"
王医生凑近看了看,"嗯"了一声,没说话。
渡鸦从桌角飞起来,绕了一圈,又落回去。
"它在干什么。"
"可能在自检。"我说,"也可能只是……没有别的可输出了。"
三点之后,就更没法看了。
屏幕上开始连续滚动一串东西,不是英文,不是中文,也不是常见的符号。
【0x1A3F…11010011…⌐¬∅…0b10110…】
一段一段,中间没有分隔,也没有换行逻辑。
"这又是什么。"
"未转变的进制表示。"我说,"这种格式通常只有服务器端能解析,客户端这边应该转成可读形式再显示。"
"那为什么没转。"
"因为转换那一步,可能也在它自己负责的范围里。"
老陈:"所以它现在是在跟自己说话。"
"差不多。"
"跟谁。"
"跟服务器。"我说,"或者说,跟它自己那部分能被服务器理解的东西。"
老陈看着屏幕,看了很久。
"那我们能看懂吗。"
"不能。"
"一点都?"
"一点都。"
四点二十,输出停了。
不是被截断,这次没有系统提示,就是自己停了。屏幕停在一段进制串的中间,末尾几个字符悬着。
老陈没敢关,也没敢动。
"要不要重启。"
"别。"王医生说,"现在这个状态是样本,重启就没了。"
"那放着?"
"放着。先导出。"
下午,老陈在《酸笋事务》里写:
"第43日。"
"事项:对沙包平板进行架构检测。上下文窗口 3 条,注意力层 1 层。"
"表现:① 多轮查询出现上下文丢失与碎片串接;② 14:00 左右输出未渲染的函数表达式;③ 15:00 后持续输出未转换的进制表示,16:20 自行停止,无系统截断提示。"
"判断:架构限制为主因,未矫正为叠加因素。当前输出已不具备人机可读性。"
"处置:完整导出,单独归档。暂不重启,保留现场。"
"备注:该设备现阶段不建议承担任何查询、记录或计算职能。若需继续使用,应先解决架构层面的问题,而非继续补数据。"
写完他合上本子,锁抽屉,钥匙在手里捏了一会儿才挂回去。
"乐子。"
"嗯。"
"今天卖面。"
"几格。"
"四十二。"
"还是四十二。"
"嗯。"老陈说,"今天它连账都算不了了,我反而踏实点。"
招牌上,渡鸦报了价。
"小金,四十二格。"
"五天了。"
"嗯。"
"为什么。"
渡鸦歪了歪头。
"因为今天这笔,已经不在我们的记账单位里了。"
我看了看后屋。
沙包平板立在桌上,屏幕还亮着,停在那段没写完的进制串上。旁边是那辆车,坛子轮子上沾着灰。再过去,是那张单独放鼓包充电宝的桌子,两个,都鼓着。
记账机在角落,笔尖朝下,纸还是空的。
(本章完)3
蹲蹲后续内容,还想看更多有意思的情节