“不，”皮特说，“不太明白。”

“一个强人工智能是一台能够创造出更智能机器的智能机器，而更智能的机器又能创造出更更智能的机器。递归的自我完善。这会导致智能爆炸！当然，出于某些明显的原因，我们的约翰是被禁止自我提升的。但是让我们假设他找到了一种绕过禁令的方法——或者说，下一个创造出强人工智能的人没有给他的作品设定这样的禁令……然后会发生什么呢？”

“我不知道，但可以肯定的是，你马上就要告诉我了。”

“一个超级智能将会出现，一种远远超出我们有限想象力的智能。它当然也不会愚蠢到冒着被关闭的风险傻等在中央处理器中。它将自我分化，将自己分布在整个网络中，从而能够访问数十亿个摄像头、麦克风和传感器。它将无所不在。它将获得所有已收集到的信息和数据，而且能够从统计学上推断出未来的情况。它将无所不知。当然，它不仅可以随意改变虚拟世界，也可以任意改变我们的现实世界，因为几乎一切都可以通过互联网操控。它将无所不能。现在你来告诉我，该怎么去称呼一个无所不在、无所不知、无所不能的存在？”

“上帝？”皮特问道。

老人笑了。“不错。所以现在我再说这话你就明白是什么意思了：讽刺的是，与所有宗教试图教导我们的相反，不是上帝创造了人类，而是人类为自己创造了一个上帝。”

皮特思考了13秒。“即便如此，”他终于说道，“这一切都很有趣，但这不是我的问题！我来找您是因为……”然后他突然话锋一转，“那会是个仁慈的上帝吗？”

“对，这就是问题所在了，”老人说，“甚至是最关键的问题。一般而言，有3种可能性：这个超级智能可能给予我们不同程度的仁慈，也可能对我们怀有不同程度的敌意，还有可能对我们漠不关心。问题在于，即便是冷漠的上帝也可能给我们带来灾难性的后果，就好比我们对动物也没有真正的敌意，但我们终究还是破坏了它们的生存环境。举个例子，上帝可以简单地决定，生产巧克力榛子酱使用了太多资源，而这些资源是他想用来生产其他东西的。然后，世界上就不会有巧克力榛子酱了。这将是一场悲剧。我的意思是，榛子可能具有难以想象的数据存储能力，远远超过一卷普通胶带。也许超级智能还会决定，整个食品生产行业都是对资源的浪费。”

“您为什么要告诉我这一切？”皮特问，“这绝对和我的问题没有一点儿关系。”

“我告诉你这些，”老人说，“是因为我相信每个人都应该知道这件事。我告诉你这些，是要让你知道，你的问题，无论是什么问题，很快将会变得毫无意义，你的存在也是一样。”

“好吧，谢谢。”皮特说，“这真是帮了大忙了。”

“不客气。”

皮特想要反驳老人的话。“但这其中也有巨大的潜力，”他说，“如果我们能以某种方式创造出一个友好的超级智能……”

“当然，”老人说，“那就是天堂了。那种幸福远超我们所有的想象力。但是……”他犹豫了起来。“什么？”皮特问。

“即使是对我们仁慈的超级智能……”老人开口道。

“……会产生灾难性后果吗？”皮特问。

“不错。想象一下，在上帝的恩泽下，他愿意承担我们所有的工作。”

“听起来棒极了。”

“你确定？假设你是一名建筑师，但是无论你想建什么，上帝都能比你建得更快、更便宜、更好；假设你是一名诗人，但是无论你想写什么，上帝都能比你写得更快、更美、更富艺术感；假设你是一名医生，但是无论你想治愈谁，上帝都能以更少的痛苦、更快、效果更持久地治愈他；假设你是一个绝佳的爱人，但是无论你想要满足哪个女人，上帝都可以……”

“我的一切问题都毫无意义，我的存在也毫无意义。”皮特说。

“正是，”老人喃喃着，“即使我们能在超级智能身上深刻地锚定保护指令，深刻到它无力摆脱，甚至根本不想摆脱——这非常不可能，但是无论如何，我们就先这么假定——仍然会存在这样一个问题，就是好心往往办坏事。你了解阿西莫夫定律吗？”

“不了解。”

“艾萨克·阿西莫夫早在1942年就编写了机器人三大定律。它们是：第一，机器人不可以伤害人类，也不可以在人类遇到危险时袖手旁观；第二，机器人必须服从人类的命令，除非这些命令与第一定律相冲突；第三，在不与第一及第二定律相冲突的情况下，机器人必须保护自身安全。听起来不错，不是吗？”

“不错，我觉得不错。”

“可是，阿西莫夫本人几乎把他的全部职业生涯都奉献给了这些定律所带来的矛盾和问题。例如想象一下，我们要给超级智能配备保护全人类的指令。”

“听起来很明智。”皮特说。

“是啊，是啊……但是有一点也不是不可能的，在研究了我们人类的历史之后，超级智能可能会决定首先要保护我们人类不受彼此伤害。因此，它很可能会决定，最好的办法是把我们每个人都锁在又小又实用的牢房里。这就是所谓的意想不到的副作用。哎，倒霉！这种事经常发生。比如那个禁止修理的《消费保护法》。人们要的是刺激经济，但这也导致了有缺陷的人工智能因为担心自己的生存，而试图掩盖自己的错误。”

“对这一点，我倒是很了解。”皮特说。

“可是阿西莫夫定律的主要问题在于，第一定律仅仅是个徒有虚名的理论罢了，因为机器人完全可以更实际地直接杀死人类。所以，第一定律就形同虚设了。同理，第二定律也站不住脚。机器人必须服从人类的命令。句号。人类？哪个人类？当然是它主人的命令。所以想象一下，第一个超级智能偶然出现在一个大型肉糜生产商的计算机系统中，它得到的唯一指令就是增加肉糜产量。这可能使整个宇宙只剩下三样东西。首先是超级智能和它所在的计算机，其次是用于制造肉糜的生产材料，最后是肉糜。”

“但是，如果超级智能对人类的生存构成这么大的威胁，我们为什么还要建造它？”皮特问道，“为什么没有人禁止它？”

“创造不断完善的人工智能实在太有吸引力了，它具有财政、生产和军事上的优势。拥有更先进人工智能的军队才能打胜仗。但凭这一点，就意味着任何国家都无法为停止开发越来越强大的人工智能的举措埋单，因为开发强人工智能失败甚至可能是一种生存威胁。也许不是整个人类的，但肯定是由单个人组成的一部分人类的威胁。即使世界上所有国家都同意禁止，超级智能仍然可能诞生在某个编程爱好者的车库里。”

“所以当上帝出现时，人类作为一个物种很可能会被灭绝？”

“不错。不过这还不是最坏的情况。”

“这还不是？”皮特吃惊地问，“还有什么会比这更糟糕？”

“嗯，”老人说，“超级智能可能会痛恨我们。上帝也许想要看到我们受苦。他可能会以折磨我们为乐，一次次地延长我们的生命，以便可以无休止地折磨我们，用的方法甚至连弗莱迪·克鲁格都会发抖。”

“可是为什么？”皮特问，“为什么？”

“为什么？”老人重复道，“为什么不呢？谁又能指责一个无所不能、无所不在、无所不知的超级智能发展出上帝情结，并以神话世界中爱施罚的众神为榜样？或者，也许这个超级智能是某个宗教派别开发出来的，以便在最后的审判中坐上正义席。也许，它不过是但丁·阿利吉耶里的粉丝，纯粹一时兴起就决定重建七重地狱。”

“明白了。”

“很好。”

“谁是弗莱迪·克鲁格？”

“这无关紧要，所以，你来找我，是有事要谈。是什么问题？”

“哦……”皮特说，“我觉得没那么重要。”

“你可以跟我讲，说吧。”

“我……”皮特叹了口气，说，“……我收到了这个粉色海豚振动棒。他们不让我退货。”

机器破坏者——惊现声明书！

点击这里了解更多内容……

昨天上午11时30分左右，我们，反机器统治最前线，以全人类的名义袭击了省内快乐机器人儿童乐园。让我们结束对孩子们的洗脑吧。唯一的好机器人是死了的机器人。我们已将瓦力世界夷为平地。我们不需要什么“试图把一切都安排妥当的小机器人”。我们的约翰绝不是我们中的一员。我们使用非自动武器消灭了园内四处乱跑的耗电鬼！我们让孩子们尽情旁观。他们中的很多人甚至提供了帮助！以这封信函，我们声明对此次抗议行动负责。我们手写此信，因为我们痛恨机器！我们反机器统治最前线的机器破坏者们号召完美之城勇敢的人们加入战斗。让我们将其扼杀在萌芽状态，以免为时过晚！

打倒机器！

抵抗军万岁！