现在想象你把蜘蛛改造的非常非常聪明——甚至超过人类的智能。它会让你觉得熟悉吗？它会感知人类的情感吗？不会，因为更聪明并不代表更加人类——它会非常聪明，但是本质上还是个蜘蛛。
我是不想和一个超级聪明的蜘蛛交朋友，不知道你想不想。
当我们谈论超人工智能的时候，其实是一样的，超人工智能会非常的聪明，但是它并不比你的笔记本电脑更加像人类。事实上，因为超人智能不是生物，它的异己性会更强，生物学上来讲，超人工智能比智能蜘蛛更加异己。
电影里的人工智能有好有坏，这其实是对人工智能的拟人化，这让我们觉得没那么毛骨悚然。这给了我们对人类水平和超人类水平的人工智能的错觉。
在人类心理中，我们把事情分成道德的和不道德的。但是这两种只存在于人类行为之中。
超出人类心理的范畴，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人类的，尤其是那些非生物的事物，默认都是非道德性的。
我们一直倚赖着不严谨的道德，一种人类尊严的假想，至少是对别人的同情，来让世界变得安全和可以预期。但是当一个智能不具备这些东西的时候，会发生什么？
这就是我们的下一个问题，人工智能的动机是什么？
答案也很简单：我们给人工智能设定的目标是什么，它的动机就是什么。人工智能的系统的目标是创造者赋予的。你的GPS的目标是给你指出正确的驾驶路线，IBM华生的目标是准确地回答问题。
更好得达成这些目标就是人工智能的目标。我们在对人工智能进行拟人化的时候，会假设随着它变得越来越聪明，他们产生一种能改变它原本目标的智慧——但是智能水平和最终目标是正交的，也就是说任何水平的智能都可以和任何最终目标结合在一起。
所以隔壁老王从一个想要好好写字的弱人工智能变成一个超级聪明的超人工智能后，它依然还是想好好写字而已。
任何假设超级智能的达成会改变系统原本的目标的想法都是对人工智能的拟人化。人健忘，但是电脑不健忘。
在隔壁老王的故事中，隔壁老王变得无所不能，它开始殖民陨石和其它星球。如果我们让故事继续的话，它和它的殖民军将会继续占领整个星系，然后是整个哈勃体积。
焦虑大道上的人担心如果事情往坏的方向发展，地球生命的最
「如章节缺失请退出#阅#读#模#式」
你看#到的#内#容#中#间#可#能#有#缺#失，退#出#阅#读#模#式，才可以#继#续#阅#读#全#文,或者请使用其它#浏#览#器
