与神初会(103)

　　“他当然及格了，而且还考了高分。”

　　罗克朝艾斯卡看了看，后者显得极为高兴。

　　“我和卡特都认为艾斯卡已经具备了自我意识的初级模型，在行为和思考方式上也更接近人类。”奥尔文真的就像看着自己的孩子在重要考试上考了好分数似的，欣慰地说，“而且我认为最近你遇到的麻烦正是个好机会。”

　　罗克不明白：“什么好机会？”

　　“我支持卡特的计划，让艾斯卡脱离赫菲尔斯的控制，暂时自行决策行动。”

　　“暂时？”罗克不满地说，“你们把他当囚犯一样看管，现在只是给他一个假释的机会？”

　　“艾斯卡已经更换了包括核心组件在内的80%的零件，几乎可以说焕然一新，赫菲尔斯公司很难通过常规方式追踪控制他。但作为计算机和人工智能的开发者，我和卡特认为必须有最后一道防护，以免像你担心的那样，因为极端自由引发意想不到的危机。”

　　这很好理解，尽管罗克在朝夕相处下对艾斯卡产生偏向性，认为他不会因为脱离掌控获得自由而干出伤天害理的事情，但也非常理解奥尔文和卡特身为创造者的担忧。人工智能一旦失控，很难再有弥补的机会，他们要承担把新世界的神——亦或是恶魔放出牢笼的罪责。

　　“那么，这道最后的防护由谁控制？”

　　“当然是你，布雷恩警官。”奥尔文说，“我们一直都在说，你是最佳人选。只有你能胜任这项工作。”

　　罗克把目光转向身旁寻找卡特。

　　“你的意见呢？”

　　“奥尔文的意见就是我的意见。”卡特微笑着说，“我们刚才已经达成一致，你是最好的执行者，你有判断力，有理性思考，还有情感上的宽容和放纵，不会循规蹈矩地要求艾斯卡按照你的想法行动。这是我和奥尔文都不具备的直觉判断，不管我们如何调整自己的想法也很难像你一样依靠本能去辨别对错，我会考虑程序问题，会思考哪里出了问题，对未来进行数据演算，这都不符合培养艾斯卡自我意识的需求。”

　　“可是你对自己的工作也是这么演算的，你肯定想到了让艾斯卡脱离赫菲尔斯公司的后果。”

　　“难道你没想过？”卡特笑容不减，“你带着艾斯卡一起逃亡的时候，就应该想到最坏的结果了。”

　　最坏的结果，当然是艾斯卡因此受到限制，由赫菲尔斯接管，让他离开自己身边。

　　罗克无数次地设想过这个结果，却仍然寄希望于能有不一样的发展——希望艾斯卡拥有自己的意识去摆脱开发者的操纵。虽然最后这项工作还是由卡特完成的，可直觉的选择和冒险的基因从没有在他身上消失过。

　　难道现在不是最好的情况吗？

　　“布雷恩警官，艾斯卡也希望你能接管他。”奥尔文说，“你是否愿意成为他唯一的控制者。”

　　“我不喜欢控制这个词。”罗克说，“如果他愿意继续和我在一起，我当然也很高兴，我只希望他成为我的搭档、朋友和最亲密的人……我是说，身边最亲近的人，因为我已经没有什么可以信任的人了。”

　　“抱歉，我们还没来得及用更人性化的词汇代替计算机语言。”奥尔文说，“这将会成为未来生命的新课题。”

　　罗克又把目光转向艾斯卡，后者正带着温柔的微笑望着他。

　　“布雷恩警官，我很乐意成为你的搭档、朋友和最亲密的人。”

　　“我也是。”罗克问，“那三道密钥解决了吗？”

　　“解决了两道。”卡特指了指自己，“我一票、奥尔文一票，剩下一票很好解决。”

　　罗克还想问，难道这个被放在铁疙瘩里的“奥尔文·怀特”也算最高权限的一票，会不会太儿戏了，但卡特似乎完全把复制者当成真正的奥尔文。

　　“我现在要怎么做？”罗克问。

　　“我们得举行一个仪式。”卡特说，“把你植入到艾斯卡的核心程序中，这样只有他确认是你本人，才会执行你的最高指令。最高指令不受限制，不管发生任何事，无论在什么环境下，你都可以要求艾斯卡执行命令或者终止行为。”

　　罗克开玩笑地问：“如果我失控了呢？”

　　“你为什么会失控？”艾斯卡问。

　　“宝贝，人类的情绪经常会因为一些遭遇而变化，我也不能保证自己永远冷静，永远都做出正确判断。”

　　“我不会让你失控。”艾斯卡认真地说，“我会尽我所能帮助你做出最好的选择，不让事态恶化，向无法挽救的方向发展。”

　　“谢谢你，我希望你能阻止我的一些冲动行为。”罗克说，“但不要对我的生活方式指手画脚。”

　　艾斯卡笑了笑：“我来帮你处理家务。”

　　罗克发现卡特似笑非笑地望着自己，忽然有些羞耻。他的生活做派一向粗糙，艾斯卡完全能够胜任照顾他的工作，可把警用助手当成免费保姆未免有点不恰当。

　　他决定跳过这个话题。

　　“等一等，你刚才说要把我植入艾斯卡的核心程序是什么意思？”

　　“就是把你的基因生物信息作为最高权限者的识别数据，”卡特说，“为了保证数据的完整和实时性，我和奥尔文商量的结果是，需要在你的身体里，准确地说是手臂上植入一个微型读取器来向艾斯卡发送你身体数据的变化。”

　　罗克对这个方法心存疑虑，倒不是他害怕在自己体内放入什么东西，而是这个方法听起来似乎和莫里斯说过的基因收集十分相似。他对军方的银弓计划不只是反感，更多的还有厌恶。退一步说，如果自己的基因信息可以毫无保留地被读取，那是不是也有可能制造出另一个“罗克·布雷恩”？

　　卡特看出了他的顾虑，明白他身为警察天然具有的警惕和多疑，于是说：“你可以慢慢考虑，反正艾斯卡现在处于无人监管的状态，是一个通常意义上自由的人。当然，程序还是会规范他的行为，不让他逾越法律规则，所以即使没有设立最高权限的监督者也不会有太大问题。不过，不能排除存在的风险，一旦他真的失去控制，最终将面临的一定是被彻底销毁。”

　　“你的意思是，赫菲尔斯公司最终还是有办法找到他？”

　　回答这个问题的是奥尔文，他说：“这个销毁过程并非人为控制。设计初期，很多人对人工智能的发展存在忧虑，担心量子计算机惊人的迭代速度会过早产生自我意识，在人类还没有准备好之前造成意想不到的灾难。因此设计艾斯卡时，我们设置了一个自毁程序。这个程序被称为理性之钟，它的内容非常简单，只是判断人工智能的决定是否符合当前事件的法律、道德标准和最优方案。你可能会说，有些事进退两难，很难决定对错，所以系统设置了数据集的数量，不以单个事件作为判断对错的标准。如果艾斯卡在决策时积累了太多错误选择，比如他选择杀人或者严重违反法律、从事犯罪，那么理性之钟就会进入倒计时自毁。即使开始后，如果他能重新回到正途，销毁程序会相应减缓。”

　　“这个程序还在吗？”

　　“是的，自毁程序不可移除。”

　　“这么说，如果我成为他的控制者，就可以高于理性之钟对他的道德判断？”罗克问，“那他经常违反规则擅自查案，偷看别人的信息，和我一起从警局逃出来的行为算不算错误抉择？”

　　“这些都只是小事。”奥尔文说，“我们提防的一直是人类和未来生命之间如何相处的难题，人工智能未必拥有比人类更高的智慧，但一定具有更快的进化过程和学习能力。人类需要通过十几年乃至几十年学习的知识，对人工智能来说不过是一瞬间。人类很难同时成为多个领域的专家，人工智能却能既是科学家、医生、律师、经济学家，又精通文学、艺术和哲学。布雷恩警官，我们现在的行为是在冒险，而我和卡特认为把勇者之剑交给你是最恰当的选择。”