江农听了这话之后，只感觉到浑身一个激灵，因为他想起了自己在梦境当中见到的那些事情，当时张璇的尸体还是历历在目，身上连个完整的部件都没有，那样的感觉实在是让人有些难以接受。
一想到这里江农就感觉到自己浑身开始发冷，一想到文诗韵会变成那个样子，他就觉得这一切事情好像自己都无法接受，因为在面对这样的事情的时候，自己似乎身都像被抽干了力量一样。
他这个时候忽然意识到，文诗韵对于他来说是一个非常不一样的存在，对于他的人生来讲，文诗韵就好像是一道曙光一样，照亮了他的人生，所以在这个时候他忽然意识到很多问题，那就是文诗韵的地位在自己的心中才更加的重要。
一想到这里江农就忽然一下子浑身泄了气一样，即便知道最后的结果不好，即便知道最后的结果，很有可能是失败，但是对于他来说，现在只要能够让文诗韵平平安安的，那就比什么东西都重要，江农这个时候忽然意识到了一切。
很多时候自己想要放弃的时候，每次一想到江农自己浑身就像是充满了意外，这就是那个姑娘给自己的力量，所以这个时候江农只要一想到这个姑娘，就只希望她平平安安的。
在这个时候忽然就放弃了自己的那些胆小和懦弱，在这个时候他忽然意识到这个姑娘对于自己的重量到底有多重。
“好吧，说的确实有道理，到现在为止，我现在做的很多事情，实际上都是为了我的一己私欲，我现在会尝试着为人类考虑考虑的，不过这些事情我都会慢慢去做。”
先知听了这话之后，也是慢慢的放下了心来，这个小子很有可能在进步，过段时间就会有一个很大的蜕变，想到这里先知也知道这一次的目的达到了。
这个幻境真是帮了他很多，至少能够让这个小子这个时候真正的意识到，很多事情并不是那一个人的事情，而是属于整个人类的事情。
先知告诉他还有一段时间可以精神停留，江农趁着这个功夫，问了很多人工智能和人类的问题。
机器可以有目标吗？这个简单的问题原先引发了人类很大的争议，因为在不同人的眼中，“机器”代表的意义是不同的，常与一些棘手的问题联系起来，比如机器能否拥有意识以及它们是否有感觉等。
但是，如果问一个更实际和简单的问题：机器是否能展现出目标导向行为？那答案就很明确，它们当然可以，因为人类就是这么设计的！沈教授的研究院研究的便是这方面。
人类设计捕鼠器，让它拥有捕捉老鼠的目标；人类设计洗碗机，让它拥有洗碗的目标；人类设计时钟，让它拥有报时的目标。
实际上，当面对一台机器时，只需要关心它拥有什么目标导向行为：如果被一枚热跟踪导弹追赶，就根本不会关心它是否有意识或者感觉。
如果对“导弹没有意识但有目标”这种说法感到很不舒服，可以暂时把“目标”换成“用途”，两人又开始探讨意识的问题。
目前，人类建造的大部分东西都只是以目标为导向进行的设计，而没有展现出目标导向的行为：一条高速公路能有什么行为呢？
它只是静静地待在那里一动不动。然而，它为什么存在呢？最经济的解释是，它是被人设计出来实现某个目标的，因此即便它一动不动，也让人类的宇宙具有了更强的目标导向性。
“目的论”就是用目的而非原因来解释事物的一种方法。那么人类可以总结说，本章前半部分的内容说明，人类的宇宙越来越符合目的论的解释。
从较弱的意义上说，非生命物质是可以拥有目标的。不仅如此，它的目标性正变得越来越强。如果从地球形成之初就开始观察地球上的原子，可能会注意到目标导向行为的三个阶段：
第一阶段，所有物质似乎都在努力实现耗散的目标，即熵增；
第二阶段，其中一些物质拥有了生命，转而聚焦于子目标；
第三阶段，生物重新排列的物质越来越多，以实现自己的目标。
可以看出从物理学的角度来看，人类在地球上已经具备了相当高的优势地位：人类身体的总质量已经超过了除牛以外的其他所有哺乳动物，牛的数量实在太多了，因为人类需要它们提供肉类和乳类产品。
并且人类的机器、道路、房子等工程的总质量，也似乎很快就能赶上地球上所有生物的总质量了。
换句话说，即使不发生智能爆炸，很快地球上大部分展现出目标导向性质的物质都会是设计出来的，而不是进化出来的。
建筑物、道路、汽车这类工程实体似乎很快就要赶上植物和动物这类进化出来的实体了。
这种设计出来的“第三类”新型目标导向行为的物体可能比它的产生过程更加多姿多彩，所有进化而来的物体都有一个共同的目标，即复制。
而设计出来的物体却可能拥有各种各样的目标，甚至拥有相反的目标。比如烤箱的目标是加热食物，而冰箱的目标则是冷冻食物。
发电机将动能转化为电流，而电动机将电流转化为动能。标准象棋程序想要赢得比赛，而还有一种程序参赛的目标是输掉象棋比赛。
设计产品还有一个历史趋势：它们的目标不仅变得越来越多样化，而且变得越来越复杂，人类的机器变得越来越聪明了。
最早的机器和人造物的目标都很简单，比如房子的目标是让人类保持温暖、干燥和安。
后来，人类逐渐学会了建造拥有目标更加复杂的机器，比如扫地机器人、自己飞行的火箭和无人驾驶汽车。
人工智能方面的进展还给人类带来了像深蓝计算机、沃森和AlphaGo这样的系统，它们的目标分别是赢得象棋比赛、猜谜游戏和围棋比赛。这些目标都十分复杂，人们费尽心思才理解了它们高超的技艺。
当人类建造机器来帮助人类时，可能很难保证它们的目标与人类的完一致。譬如说捕鼠器可能会错把的脚趾头当成饥饿的老鼠，结果让疼得龇牙咧嘴。
所以机器都是拥有有限理性的主体，即便是今天最复杂精巧的机器，对世界的理解程度也远远比不上人类人类。因此它们行事的规则通常过于简单。
那只捕鼠器总是乱夹是因为它完不知道什么是老鼠；同样地，许多致命工业事故之所以会发生，正是因为机器完不知道什么是人，而2010年导致华尔街“闪电崩盘”事故、造成万亿美元损失的计算机，也完不知道它们的行为是胡作非为。
如果机器变得更聪明，就能解决许多“目标一致性”问题，但是正如人类从普罗米修斯故事中所看到的那样，日益聪明的机器智能也可能给人类带来新的挑战，因为人类必须保证它们与人类的目标一致。
机器变得越智能和越强大，保证它们的目标与人类的相一致就越重要。如果人类建造的机器比较愚钝，那问题就不是“人类目标最后会不会胜出”，而是“在人类搞明白如何解决目标一致性的问题之前，这些机器会带来多少麻烦”。
然而，如果人类建造的机器具备超级智能，那事情可能便正好相反：由于智能就是完成目标的能力，那么，在完成目标这点上，超级智能理所当然强于人类，因此它最终一定会胜利。
如果想体验一下与机器目标不一致的感觉，只要下载一个最先进的象棋程序，然后和它对弈，就能体会到了。可能永远赢不了它，而它的技艺还会越来越精湛。
换句话说，通用人工智能带来的真正风险并不是它们的恶意，而是它们的能力。
一个超级智能会非常善于完成它的目标，如果它的目标与人类的目标不一致，那人类就有麻烦了。
人们在建造水电站大坝时，根本不会考虑会淹没多少蚁丘。因此大多数研究者认为，如果人类最终造出了超级智能，那人类必须保证它们是友好的人工智能。“友好的人工智能”是人工智能安性研究提出的一个概念，是指目标与人类相一致的人工智能?。
想要让超级人工智能与人类的目标相一致很重要也很困难。实际上这目前还是个未解之谜。这个问题可以被划分成三个子问题，每一个都是计算机科学家和思想家正在研究的活跃课题：让人工智能学习人类的目标；让人工智能接受人类的目标；让人工智能保持人类的目标。
人类先来依次探讨一下这三个问题，“人类的目标是什么意思”这个问题先推迟到下一节再探讨。
要学习人类的目标，人工智能需要搞明白的不是人类做了什么，而是人类为什么这么做。这对人类来说易如反掌，所以人类很容易忘记这件事对计算机来说有多困难，也常忘记这个问题很容易被计算机误解。
如果在未来，叫一辆无人驾驶汽车尽可能快地送去机场，而它确实会不择手段地让火速赶到了机场，那可能会一路被直升飞机追赶，并且呕吐一地。
如果声称：“这不是我想要的。”
那它可能会言之有理地回答：“可就是这么说的呀！”
很多家喻户晓的故事里也有类似的桥段。古希腊传说中的迈达斯国王请求让自己触摸的所有东西都变成金子，
但这使得他没法吃东西，令他十分失望。后来他不小心将自己的女儿也变成了金子。此外许多故事中都会有一个精灵，它可以实现人们的三个愿望。
关于前两个愿望，不同的故事有不同的版本，但第三个愿望通常都是一样的：“请收回前两个愿望，因为那不是我真正想要的东西。”
这些例子表明，想要知道人们真正想要什么，不能只听他们的一面之词，还需要这个世界的详细模型，包括人们共有的许多偏好。
这些偏好人类通常不会明说，因为人类认为它们是显而易见的，譬如说，人类不喜欢呕吐或吃金子。
一旦有了世界的模型，人类就能通过观察人们的目标导向行为来搞明白他们想要什么，即便他们并没有明说。实际上伪君子的孩子通常都是从父母的行为中学习的，而不是从他们的嘴里。
目前，人工智能研究者正在努力让机器从行为中推断目标，这在超级智能出现之前也非常有用。
譬如说，如果一个照顾老年人的机器人能观察和总结出它所照顾的老年人的价值观，那这个老人可能会非常开心，因为这样他就不用费尽口舌向机器人解释一切，也不用对它进行重新编程。
要实现这一点，其中的一个挑战是，找到一种将任意目标系统和伦理准则编入计算机的好方法。还有一个挑战是让计算机弄清楚哪个系统最符合它们观察到的行为。
对于第二个挑战，目前有一种流行的方法，用行话来说叫作“逆向增强学习”。沈教授新建立的研究中心就主要研究这个东西。
比如假设一个人工智能看见有一个消防员跑进了一栋熊熊燃烧的房子，救出了一名男婴。
它可能会得出一个结论：消防员的目标是拯救男婴，他的伦理准则要求他将自己的生命看得比“舒服地躺在消防车里”更高，高到他宁愿承担失去安的风险。
但是，它也可能通过推断认为，这个消防员可能饥寒交迫，迫切想要获得热量，或者说，他这么做是为了锻炼身体。
如果这个事件是这个人工智能所知的与消防员、火和男婴有关的唯一例子，那它就不可能知道哪种解读才是正确的。
然而，逆向增强学习的一个关键思想就是，人类总是在做出决策，每个决策都揭示了一点点关于人类目标的信息。因此，逆向增强学习希望人工智能体通过观察许多人在许多场景中的行为，包括真实场景、电影和书籍，最终构建起关于人类偏好的精确模型?。
即使人类建造了一个能学习人类目标的人工智能，但这并不意味着它一定会接受这些目标。想想最讨厌的政客，知道他们想要什么，但那不是想要的，就算他们费尽心思，也无法说服接受他们的目标。
人们为了让自己的孩子接受他们的目标，可谓无所不用其极。从抚养叶轻尘的经验中，先知发现了一些比较成功的方法。如果想要说服的对象不是人，而是计算机，那么，就面临一个称为“价值装载问题”的挑战，这甚至比对孩子进行伦理教育还难上加难。
假设一个人工智能系统的智能逐渐从低于人类的水平发展到超人类的水平。在这个过程中一开始，由人类对它进行敲敲打打、修修补补，后来，它通过天启那样的自我迭代，迅速提升智能。
一开始它比弱多了，所以它无法阻止把它关掉，也无法阻止将它的软件和在其数据中能对目标进行编码的那部分替换掉。
不过这无关紧要，因为的目标需要人类水平的智能才能理解，而它还太愚笨，无法完理解的目标。
后来它变得比聪明，能够完理解的目标，但这依然于事无补，因为到那时它已经比强太多，可能不会再让轻易地把它关掉并替换它的目标，就像不允许那些政客把的目标替换成他们的目标一样。
换句话说，人工智能允许装载目标的时间窗口可能非常短暂：就是在它愚钝得无法理解，与它聪明到不让得逞之间的短暂时期。
给机器装载价值之所以比人难，是因为它们的智能增长比人类快多了。对孩子们来说，这个神奇的“说服窗口”可能会延续好几年，在这段时间里，他们的智力与父母相差无几；但对人工智能来说，比如天启，这个窗口可能只有几天甚至几个小时。
一些研究者正在研究另一种让机器接受人类目标的方法。这种方法有一个时髦的专业名字叫作“可改正性”。
这个方法的希望是，将一个目标系统赋予一个原始的人工智能，这个目标系统使得这个人工智能根本不关心会不会偶尔把它关掉和改变它的目标。
如果事实证明这是可行的，那就可以很安心地让的人工智能走向超级智能，也可以很安地关掉它，装载入的目标，试试怎么样；如果不喜欢，又可以再把它关掉，对目标进行修改。
可是天启的发展实在是太快了，甚至快到了可以忽略这些事情的地步。