4tCmpYCf @bog.ac

来源：http://bog.ac/t/641223

一般来说，人们对待道德的两极，可以采取相当明确的态度。比如，如果面对一个杀了十万人的屠夫，和一个拯救了十万人的圣人，人们一定会认为前者应惩，后者应赏。

但这种道德的判断会在中间地带渐渐模糊。杀了一个恶棍和救下一个歹徒的人呢？杀了两只小龙虾和救下两只蟑螂的人呢？用安乐死杀了自己和救活一个饱受折磨的病人的人呢？在这些问题里，人们得不到答案，只能借助法条或者是更多人的判断。

依靠天秤座™ai评判系统或许是一种办法。

这个办法起源于古希腊，当时的人们排队丢下陶片，来裁定一个人是否有罪。天秤座ai的判断依据和这类似，只不过它背后依靠的，是多达三十亿的仿人ai。

当面对一个道德困境，比如让电车杀掉一个人还是五个人时，只需将其交给天秤座ai，它就会把这一问题交给系统内的每一个子ai进行讨论。最后会得出一个比例。比如，它对于电车难题的解答是，由于有63％的子ai支持拯救五个人，因此，应该牺牲那个无辜的家伙。

天秤座ai和一个判案的法官一样，在那些清晰的问题上从不犯错，在一些人类难以分辨的难题中也能坚持正义。但是它仍旧暴露出了大量的运行问题。

比如，作为运算主体的子ai的采样，是以一个亚洲人为基准的。所以在系统运行于美洲时，面对当地少数族裔的家庭继承问题，这些子ai秉持着基本的孝道理念予以判断——却引发了当地群众的严重不满。尽管天秤座尽可能地屏蔽了民族主义的影响，却还是会使系统在面对一些侮辱性案件中，采取十分偏激的判断。

再比如说，系统只是武断地将子ai的男女比例设置为1:1，却没有考虑到实际人口比例。这就导致了一些十分怪异的判断，比如在女子监狱中，女性狱警们希望削减男厕所的数量，却被判为非法。

收入也没有被考虑到。好吧，好吧，在此透露，系统里所谓的两个男女子ai，其实就是当时开发公司的两个程序员。他们显然没有考虑到世界上仍存在大量的低收入群体，导致了一些面对穷人的不公。比如，“富人为学校捐钱可以换取入学资格”这种事，他们认为并不算坏，因为捐助可以让学校发展得更好——却忽视了由此可能导致的可怕后果。

在天秤座™2.0系统中，开发人员吸取教训，从全球人群中抽样出一个群体，用他们的特征来训练子ai，然后再将数量扩增至60亿个，来具体判断一件事的性质，或者说，它“是否符合道德”。

抽样人群多达数万人。人类的大部分道德评判要素都被这些人概括：民族，性别，阶级，信仰……开发人员相信，这一ai可以为一切道德困境，做出二元的判断。

这一年便被划为新控制论时代开始的元年。它的诞生带着历史的必然：随着全球经济与人口素质的提高，人们越发呼吁一种可以仲裁一切终端的强力机器。这一机器的物质实体是正冉冉升起的世界政府，而它的内在构造，就是天秤座™等一系列道德评判ai。

小到夫妻吵架，大到超级大国间的争端，由于热核战争之后人们对武力的极端厌恶，所有人都趋向于使用文明的方式来解决。而如果使用法官审判，谁来审判法官？如果使用陪审团讨论，又如何顾及法庭之外，亿万芸芸众生？

但也不能真的让一切事情都交给一切人来评判。总不能因为你和水管维修工的纠纷，就叫数十亿人进行一场只有两个选择的投票。代替人类进行评判的ai必须存在，它还必须尽可能接近人类群体本身。

如果把全人类比做一个巨人，那天秤座2.0就好比一个侏儒。虽然小得多，却仍旧五官完整，四肢健全。天秤座2.0很好的处理了大量的疑难问题。比如，“老婆和妈掉水里了该救哪个？”的答案认为应该救妈。毕竟不是每个人都有老婆，但基本每个人都有妈。再比如，“为了修建太空电梯牺牲两万人是否应该？”，人们的答案压倒性的表示不应该。因为没人见过太空电梯，但大家都知道死的两万人可能是自己。

也就是这时，天秤座2.0暴露出了它仍旧存在的问题：时效性。自世界政府成立，系统上线以来已经度过了近百年。在这百年之中，人们积累了修建太空电梯的所有技术，却仍因为可能存在的牺牲导致根本无法通过系统的道德性判断。

类似的问题还有很多。克隆技术下诞生的克隆人合法性问题亟待解决，多性别婚姻与物种杂交的新形势等待方案，自由主义盛行的年代里人们有没有反对自由的自由，而人人平等的权利架构下，生育这件事又该怎么纳入统筹。这些问题，已经远不是多年前的一些老旧ai能够解决的了。

当然，保守主义者会认为，如果我们和道德相悖，恰好证明我们走错了路。但激进主义者认为，一群面对“是否支持双性别半人马与植入复制版人类意识的四足机器人开展大规模婚配”的问题只会选“是”的ai，已经远远落后于时代了。

你问为什么天秤座2.0里的那些ai只会选“是”？因为它们看不懂问题，只能蒙第一个。

迈向未来的第一步虽艰难却仍需大胆前进。世界政府作了这几百年来唯一一个“不合法”的决定：对天秤座2.0进行升级。讽刺的是，那些子ai似乎全都知道系统拆除后自己的命运，所以一律反对升级，但世界政府破除万难，在人口普查的同时开展了一次覆盖所有算得上“人”的家伙的投票，结果大家一致同意。

为什么同意？因为其实大部分人也不明白这个系统有啥用，蒙了第一个选项。

天秤座3.0诞生的纪念仪式上，世界政府的首席行政人员，也叫大交互员，宣读了新系统对人类发展的重要意义。

“最新版的天秤座系统连接着每个人的脑机接口，数据接驳服务器或者生物质脑组织。从今往后，我们会以每天一次的频率，对全人类的意识进行采样，再将海量的数据映射到天秤座系统之中。换言之，面对所有问题，我们将团结每一个人，给出最中肯，最符合道德的答案。全人类的同理心，将共同投影在这一块小小的设备中，绽放出无可比拟的道德光辉。”

为了纪念这种光辉，仪式所在的广场被命名为“道德高地”。从此，如果谁真的站在道德高地上靠近天秤座系统，那他可能真的有资格对你进行道德绑架。

改版的天秤座3.0系统实现了一种几乎不可能的道德审判方式，即让全人类站在你面前面对你小小的纠结。有49.7％的人类支持你下午称病逃课，有36.2％的人类支持你去吻心中所爱的那个机器人姑娘，有89.7％的人支持你为了拯救人类牺牲自我——虽说这个是问着玩的。

所以，当你的老师严厉的盯着你，说有63.2％的人认为不交作业应该受罚的时候，她很可能是认真的。

非道德的事情应该被纳入道德框架吗？26.2％的人对此表示肯定。如果应该纳入，那么小偷小摸的人是否有资格审判杀人犯？如果不该纳入，那么多年以来人类道德的演进又该如何看待？杀人是一种罪大恶极的行为，可是如果你杀的是僵尸呢？又如果，你才是那个僵尸，以为自己在杀僵尸，其实是在杀人？

当道德的客观定义被诉诸同理心，绑定在“全人类的共识”之上，那么如果对这一共识采取措施，又是否可以逃离道德的框架？这不是空谈，人们马上就面临着这个问题。

人类史上最大的电脑黑客，计算机破坏者，杀人犯，道德难题的提出者砝码近日被执法机器人逮捕。一直以来他就对用ai控制人类行为的方法存在疑虑，哪怕这种ai就是短短一天前的人类。他处心积虑，想要证明一件事：人是道德的主人，而非道德的傀儡。

砝码反向渗透了天秤座系统。他向系统询问，“杀掉这世上绝大多数的人是否有罪？”，其中有98.6％的人都认为有罪。这已经达到了死刑的界限，因为世界政府为了防止系统在模糊的中间地带出现判断失误，对阈值做了规定。只有在支持比例超过68.2％的情况下才能判处有罪，95.5％的情况下才能动用死刑。砝码在没有投无罪票的人中，随机挑选了数量多达全世界人口97％的人类。只要杀掉这些人，那些认为他无罪的人的比例就会大幅扩大，他就可以被宣判无罪。

抛去暴力的人们在新时代的伊甸园中享乐已久，丢掉了基本的提防之心，连诈骗信息都没能识别。“天秤座系统更新提醒”，大部分人想也没想就点开了。随后，一个木马就被植入进了他的脑机接口或者最近的电子设备之中。当万事俱备，砝码启动了开关，无数脑机接口出现故障开始异常放电，在一夜之间消灭了这个星球上绝大多数的人类。

吊诡的是就算死了这么多人，靠着完善的机器人辅助体系，人类社会仍旧没有崩溃。残存的一部分人聚集在道德高地，决定要对砝码处以极刑——不过讽刺的是，他们能站在这里，大多也是因为他们认为这种行为无罪。砝码没有反抗，而是带着胜利者一般的微笑，看着这个被他搅得一团糟的世界。

“你们应该用系统审判我。”他笑着。“可惜，系统已经更新完毕，经过我的布置，只有支持我无罪的人能活下来。所以我仍旧无罪。”
话音刚落，天秤座系统给出了答案，无罪。独力杀死了比历史上一切杀人狂魔所杀的仍旧要多得多的人类的极恶之人，无罪。

“人应该是机器，规章，或者道德之类的主人。”他说。“任何试图用人以外控制人本身的东西，都迟早会导致矛盾。”
他拿出了证据。砝码从数学上证明，一旦面临的问题足够多，那么总有一种情况，能够让99.9％的人认为，在这种情况下，灭绝掉全人类也并不罪恶。他指着远处，正在建设的巨型执法机器人，说道：“不用我来，它们也足以想象出，能够合乎道德地毁灭掉我们的办法。”

“哈哈哈……”他笑着走下道德高地，看似神采奕奕，眼神中却又失魂落魄。“我几乎杀光了人类，却仅仅因为杀掉的是异己，所以无罪，而你们却因为一台可笑的机器，而对显眼的罪恶无可奈何。”

这时，一个执法者终于忍无可忍，掏出了匕首，刺向他的胸膛。血花四溅，这一行为会被系统定义为故意杀人，却在此刻显得格外正义。

然而，砝码却欢呼着，拥抱着，亲吻着那位将他杀死的志士。在这熹微的黎明中，他无憾而终。