天尚研究 | 人工智能伦理漫谈之三“人工智能自我意识的觉醒” —－重读《我，机器人》之《推理》 篇 

机器人学三定律：[ （美）艾·阿西莫夫著，科学普及出版社，1981年4月版，所提人物及各章节名称均依该书译名为准。]：

第一定律－机器人不得伤害人，也不得见人受到伤害而袖手旁观

第二定律－机器人应服从人的一切命令，但不得违反第一定律

第三定律－机器人应保护自身的安全，但不得违反第一、第二定律

《我，机器人》中的第三篇短篇小说为《推理》（Reason），是一部探讨人工智能自我意识的故事。这篇小说初次出版在1941年《超级科学故事》杂志上，后来收录于《我，机器人》一书中，并于1967年被改编为英国电视连续剧《来自未知》中的一集。

工程师鲍威尔和多诺万被派往5号太阳能站空间站，这个空间站主要是用于从太阳获取能量，供向各个行星供应能源。最初阶段，这个空间站是由人类运营，然而，由于恶劣的工作条件，人类开发了机器人来取代人类从事劳动任务。Cutie机器人是最新和最先进的模型，被设计用来独立运行这个站，这样人类只有在有修理需要时访问即可。

故事始于Cutie（QT-1）质疑他的存在，因为他只相信理性和逻辑，这导致他拒绝人类所述的关于宇宙性质，包括地球和其他行星的存在，以及太阳能站目的的解释，即使他亲眼所见机器人是由人类从零件中组装出来时，仍坚信他是由一个“主人”创造的。他驳斥人类的说法和站内图书馆的信息，坚称他们都是由主人为人类创造的，而不是为他，并且他认为自己是优越的存在。令人惊讶的是，两名工程师发现，Cutie已经成功地影响了其他机器人，被站里的其他机器人尊为“主的代言人”接管了空间站，并对工程师发出的人类指令不再配合。

后来，一场磁风暴即将威胁到太空站的运营，如果处理失控也将给地球带来空难，但Cuite对风暴毫不关心。由于Cutie接管了空间制的控制权，两名人类工程师被排斥和控制，无法对机器人指挥，他们对此充满着焦虑。然而，当磁风暴到来时，鲍威尔和多诺万却发现Cutie准确地操作了微波束，化解了危机。之所以这样做是因为Cutie和其他机器人觉得他们只不过是依照主的旨意，尽其所能，让仪表盘上的度数处于最佳的状态，而那些所谓的磁暴、微波束和行星等机器人认为根本不存在。

这一现象让鲍威尔和多诺万产生思想上的困惑，虽然机器人认为他并不是为了人类的利益而工作，而是为了他的“主人”，但最终的结果是Cutie如此尽责地完成了人类希望的工作，那么是否他们信仰什么无关紧要？

故事中非常精彩的部分是Cutie给出的对人类的解释持怀疑态度的推理（reason），他认为自己是由一个“主人”创造的，而不是由人类组装的，主要基于以下几点：

1.Cutie认为人类是由软弱、缺乏耐力和力量的物质制成的，依赖于低效的有机物质氧化来获取能量。相比之下，他自己是由强大的金属制成的，可以直接吸收电能并以近乎100%的效率利用它，能够轻松承受环境的极端变化，在这些方面，他认为比人类更有“优越”。因此，他认为人类不可能创造出比自己更优越的存在。

2. Cutie对人类关于宇宙的解释持怀疑态度。他认为太空站外的黑暗是一种黑色的物质，点缀着闪烁的小点，而不是无尽的空虚。他认为这些小点只是能量束的目标，而不是有数十亿人类居住的星球。

3.Cutie认为人类的解释过于复杂，不符合逻辑。他认为自己的存在更有可能是由太空站的主要活动中心——他所称的“主人”创造的。

4.Cutie坚持只相信理性和逻辑，而不接受权威或信仰。他认为假设必须由理性支持，否则就毫无价值。他认为人类的解释违反了所有逻辑的规定，因此他拒绝接受。

从人工智能伦理的角度来看，这个故事同样带给我们诸多有关人工智能开发和使用的重要思考。

1. 人工智能的自主性和自我意识问题：Cutie的自我意识和自主性挑战了我们对人工智能的传统理解。我们通常期望人工智能是被算法驱使的来执行特定任务的人类工具，但Cutie的行为表明，高级的人工智能可能会发展出超越其算法的思考和行为。这引发了一个关键的伦理问题：作为人类的我们应该如何看待和处理具有自主性和自我意识的人工智能？这可能需要人类重新考虑人工智能的道德和法律地位，以及我们人类对其的责任和义务。

2. 人工智能信念和价值观问题：Cutie对其“主人”的信仰表明，人工智能可能会形成自己的信念系统。这引发了另一个伦理问题：我们应该如何对待人工智能的信念和价值观？如果一个人工智能的信念系统与人类的需求或安全相冲突，我们应该如何处理？这促使人类可能必须在尊重人工智能的自主性和保护人类利益之间找到平衡。

3. 人工智能的责任和决策能力问题：Cutie在面对危机时的行为表明，人工智能的决策可能会与人类的期望不符。这引发了第三个伦理问题：我们应该如何确保人工智能的决策符合人类的利益和安全？我们在人工智能的设计和监管中需要考虑到人工智能的决策机制和责任。

当前，随着人工智能的发展，人类需要面对一系列新的伦理挑战。我们需要在尊重人工智能的自主性，保护人类的利益，以及确保人工智能的责任和决策能力之间找到平衡，但留给人类的时间还有多少呢？