，然后点击“添加到主屏幕” 青豆小说网 www.qingdou.io，出星河无错无删减全文免费阅读！
军队的冲突，我们后来发现，它们不会离开闪星星球太远，如果我们不去招惹它们，它们也从来不会飞出星球来攻击我们。”
这很合理，机器人只是执行生存命令，只要不主动靠近，它们就不会攻击，甚至没有受到威胁的情况下，它们也不会主动扩大军队。
艾文知道曾经流传的机器人三大定律：
1.机器人一定不能伤害人类，也不允许他见人类将受到伤害而袖手旁观。
2.机器人必须服从人类命令，除非人类的命令与第一条相违背。
3.机器人必须保护自身不受伤害，除非这与上述两条相违背。
其实这所谓的三大定律根本就是摆设，许多人工智能机器人，天生就是作为武器存在，武器的初衷就是伤害人类，所以这三条定律那是一条也无法真的被运用。
但是经过这个闪星球的教训，艾文觉得以后要为自己的机器人设定一条铁律。
机器人铁律：机器人必须服从人类命令，但禁止接受无边界条件的无限命令。
这条命令加入到艾文的机器人程序以后，所有程序命令都必须追加一条时间或者单位数量的限制。否则机器人会拒绝执行。虽然麻烦了一些，但就可以有效防止闪星这种事情发生。
比如说当初的格里高，他应该在下达命令的时候，加上一个时间限制，比如说1年，或者10年。即使不限定时间，也要限制机器人无限发展的数量上限，这样闪星的悲剧就不会发生了。
雨星使者邀请艾文去雨星球做客，被艾文拒绝了。虽然从所有信息综合来看，雨星人算是友善的文明，但是艾文还需要做一些准备。比如防护服，还有其他的安全保障技术。
等使者离开，艾文几人又聚在一起，对闪星的问题进行了讨论。
艾文想听听5号对失控的闪星机器人有什么想法。
5号则告诉艾文，如果要收拾闪星这个烂摊子，最好从解除命令这一条下手。如果硬碰硬，一旦人工智能提升了安全阈值，那或许会导致不可预估的后果。机器人文明一旦无限扩张产能，那将是非常恐怖的。到时候整个恒星系说不定都会机器泛滥。
从人性的方面去思考，雅楠提出了一个更恐怖的问题。如果有人像闪星发送假信息，比如虚构一只上千艘战舰的舰队即将攻击闪星。那闪星的人工智能会不会立即暴走，急剧扩张军备，甚至主动打出闪星，进行主动防御。
艾文皱着眉头道：“这并非没有可能，只不过没人敢去证实。后果估计没人承担的起。好在闪现机器人的军队虽然多，但是军事科技却仍停留在两百年前。这从上次的遭遇战就能看的出来。”
5号点头同意艾文的说法，他第二次提醒道：“千万不要小看它们，即使是科技不发达，但是有些时候，数量的变化，会抵消质量的优势。所以最好的方法依然是解除控制命令。”
军队的冲突，我们后来发现，它们不会离开闪星星球太远，如果我们不去招惹它们，它们也从来不会飞出星球来攻击我们。”
这很合理，机器人只是执行生存命令，只要不主动靠近，它们就不会攻击，甚至没有受到威胁的情况下，它们也不会主动扩大军队。
艾文知道曾经流传的机器人三大定律：
1.机器人一定不能伤害人类，也不允许他见人类将受到伤害而袖手旁观。
2.机器人必须服从人类命令，除非人类的命令与第一条相违背。
3.机器人必须保护自身不受伤害，除非这与上述两条相违背。
其实这所谓的三大定律根本就是摆设，许多人工智能机器人，天生就是作为武器存在，武器的初衷就是伤害人类，所以这三条定律那是一条也无法真的被运用。
但是经过这个闪星球的教训，艾文觉得以后要为自己的机器人设定一条铁律。
机器人铁律：机器人必须服从人类命令，但禁止接受无边界条件的无限命令。
这条命令加入到艾文的机器人程序以后，所有程序命令都必须追加一条时间或者单位数量的限制。否则机器人会拒绝执行。虽然麻烦了一些，但就可以有效防止闪星这种事情发生。
比如说当初的格里高，他应该在下达命令的时候，加上一个时间限制，比如说1年，或者10年。即使不限定时间，也要限制机器人无限发展的数量上限，这样闪星的悲剧就不会发生了。
雨星使者邀请艾文去雨星球做客，被艾文拒绝了。虽然从所有信息综合来看，雨星人算是友善的文明，但是艾文还需要做一些准备。比如防护服，还有其他的安全保障技术。
等使者离开，艾文几人又聚在一起，对闪星的问题进行了讨论。
艾文想听听5号对失控的闪星机器人有什么想法。
5号则告诉艾文，如果要收拾闪星这个烂摊子，最好从解除命令这一条下手。如果硬碰硬，一旦人工智能提升了安全阈值，那或许会导致不可预估的后果。机器人文明一旦无限扩张产能，那将是非常恐怖的。到时候整个恒星系说不定都会机器泛滥。
从人性的方面去思考，雅楠提出了一个更恐怖的问题。如果有人像闪星发送假信息，比如虚构一只上千艘战舰的舰队即将攻击闪星。那闪星的人工智能会不会立即暴走，急剧扩张军备，甚至主动打出闪星，进行主动防御。
艾文皱着眉头道：“这并非没有可能，只不过没人敢去证实。后果估计没人承担的起。好在闪现机器人的军队虽然多，但是军事科技却仍停留在两百年前。这从上次的遭遇战就能看的出来。”
5号点头同意艾文的说法，他第二次提醒道：“千万不要小看它们，即使是科技不发达，但是有些时候，数量的变化，会抵消质量的优势。所以最好的方法依然是解除控制命令。”