注：转载请注明出处。

《浪潮将至》，苏莱曼与巴斯卡尔著，中信出版集团，2024年版。

1、人类的口述传统和古代文献中弥漫着这样一个主题：一场巨浪席卷一切，随之而来的是世界的重塑和重生。

2、一场新的技术浪潮正向我们汹涌而来。这场浪潮正释放出改造上述两大基石（生命系统和人类智慧）的力量，可谓智能与生命的浪潮。这场浪潮由两大核心技术所定义：人工智能和合成生物学。

3、新一代的强大技术迟早可能将人类引向灾难性或反乌托邦式的局面。我坚信这是21世纪人类必须面对的一个重大元问题。

4、遏制技术的关键在于构建一个融合技术、社会和法律机制的综合体系，以在各个可能的层面上对技术进行约束和控制。

5、悲观规避是一种根深蒂固的本能情绪反应，它让人不愿面对严重的破坏性后果出现的可能性。这种心理往往出现在那些处于安稳状态和权势地位的人身上，他们有着固执的世界观，表面上能应对变化，但实际上不愿接受任何对现有秩序构成的真正挑战。

6、这些技术都具有四个关键特征，这些特征使得这一次技术浪潮与以往不同：它们本质上具有通用性，因此可以得到多元应用；它们具有超级进化性；它们的影响具有非对称性；在某些方面，它们还呈现出日益提升的自主性。

7、浪潮是某一时期同时涌现的多种技术的集合，它们受到一种或多种具有深远社会影响的新型通用技术的推动。通用技术是指那些能够对人类的能力产生变革性影响的技术。通用技术具有跨越社会和地理界限的能力，贯穿了整个历史。它们为发明创新开启了大门，使得众多下游技术工具和技术流程的实现成为可能。这些通用技术通常建立在某种通用目的原则之上，无论是蒸汽的动力学原理还是计算机二进制代码背后的信息理论。

8、技术的扩散过程是由需求增加和成本降低这两大力量共同催化的。两者都使得技术不断变得更好、更便宜。科学与技术之间的长期复杂互动孕育出新知识、新突破和新工具，它们不断发展、强化，重新组合、融合，释放出巨大的生产力，驱动未来的发展。

9、技术所面临的必然的挑战在于，一旦某项发明问世并融入世界，其创造者就会迅速失去对其发展走向的控制。技术存在于一个复杂且动态的系统中，其二阶、三阶乃至更高阶的影响会以不可预测的方式扩散。理论上看似完美的技术，在现实中可能展现出完全不同的面貌，尤其是在它被复制和后续改造的过程中。无论一种发明的初衷多么友善，我们都无法保证人们会如何实际运用它。

10、遏制是一种至关重要的能力，涵盖了控制、限制以及必要时在技术的任何发展或部署阶段关闭技术的能力。在某些情况下，这意味着我们一开始就应具备阻止技术扩散的能力，从而遏制潜在意外结果的蔓延，无论这些结果是好是坏。

11、在大多数情况下，遏制代表着一种富有意义的控制，表示我们有能力阻止特定的使用案例、改变某个研究方向或拒绝有害行为者的使用权限。这意味着我们要保持我们引导浪潮的能力，以确保技术的影响与我们的价值观相契合，能助力我们这个物种的繁荣发展，并且不会带来大于其益处的重大危害。

12、要实现对技术的遏制，我们需要一个更深层次的方案，这一方案无关竞争方之间的力量平衡，而在于人类与工具之间的力量平衡。这是我们物种在未来一个世纪得以生存的必要前提。遏制涵盖了监管、技术安全提升、治理和所有权模式的创新，以及问责制和透明度的新机制，这些都是实现更安全的技术的必要（但非充分）条件。遏制如同一把统领性的锁，将尖端工程、伦理价值观和政府监管紧密联系在一起。遏制应被视为一套相互关联、相互增强的技术、文化、法律和政治机制，其目标是在技术呈指数级增长的时代里，保持社会对技术的驾驭力。

13、技术遏制是指在实验室或研发设施中进行的一些操作。以人工智能为例，其技术遏制涉及气隙隔离、沙盒测试、模拟演练、紧急关闭开关、内置的硬件安全和安全保障措施等。这些协议用于验证系统的安全性、完整性或未受损性，并在必要时将系统下线。此外，技术遏制还涉及围绕技术创造和传播所形成的价值观和文化，这些价值观和文化支持技术边界的设定、治理层级的构建以及接受限制的制定，同时帮助我们警惕潜在的危害和意外后果。

14、即将到来的技术浪潮主要建立在两大通用技术之上：人工智能和合成生物学。它们既能在最宏大的层面上运作，也能深入最微观的层面。这是人类技术生态系统的核心组件首次直接触及人类世界的两个基本属性：智能和生命。技术正在经历一次重大转变。它不再仅仅是一种工具，它将重塑生命，并与人类自身的智能竞争，甚至超越它。

15、技术是由一个或多个紧密关联的特性组成的“创新集群”。即将到来的浪潮是一个超级集群，是一次进化式的飞跃，它将带来成千上万潜在的新应用，其势好比地球历史上新物种最密集涌现的寒武纪大爆发。在这一浪潮中，每项技术都与其他技术相互交叉、相互支撑、相互促进，使得我们难以预测它们的影响。它们之间深度交织，而且这种交织的强度将持续强化。

16、深度学习使用的神经网络大致模仿了人类大脑的神经网络构造。简单来说，这些系统会在其网络被海量数据“训练”的过程中进行“学习”。

17、人类之所以聪明，很大程度上是因为我们能够回顾过去并预测未来可能发生的事情。从这个意义上讲，智力可以理解为一种能力，这种能力使我们能够预测关于周围世界如何变化的可能情景，并基于这些预测采取明智的行动。

18、大语言模型利用了语言数据总是一个线性序列的特征。每个信息单元都以某种方式与同一语言序列中较早的数据相关联。模型会读取大量句子，学习其中包含的信息的抽象特征，然而基于这些信息生成关于信息走向的预测。模型的挑战主要在于设计一个算法，该算法能够“知道去哪里寻找”给定句子中的关键信息。在人工智能领域，这个概念通常被称为“注意力”。

19、大语言模型革命的关键突破在于，我们首次能够直接在原始、杂乱无章的现实世界数据上训练超大模型，而无需依赖那些经过仔细筛选和人工标注的数据集。

20、这些模型的能力虽然强大，但它们的潜在危害也丝毫不可小觑。由于它们是基于互联网上大量杂乱无章的数据进行训练的，因此很容易反映甚至放大社会的偏见和结构性问题。我们必须精心设计这些模型，才能避免类似情况发生。

21、现在的人工智能系统仍然相对狭窄的领域内运作。然而，未来必将迎来真正通用或强大的人工智能，它们能够在广泛的复杂任务中达到人类的表现水平，并能够在这些任务之间顺畅切换。

22、人工智能的早期阶段主要关注分类和预测。尽管它具备一定的能力，但这些能力仅局限于明确界定的范围和预设的任务内。

23、人工能力智能代表着人工智能发展的下一个重要阶段。在这一阶段，人工智能系统不仅可以识别和生成与特定语境相契合的新颖的图像、音频和语言，还能实时与真实用户进行交互。它凭借增强的记忆能力，能在较长时间内维持这些能力的一致性，并能够利用其他数据来源。这样的系统能利用这些资源，把多个行动安排整合成长期的计划和方案，以追求更为复杂和开放的目标。所有这一切都将极大地扩散人工智能工具的使用，提升其执行一系列广泛的复杂实用任务的能力。这便是真正具备能力的人工智能。

24、DNA是信息，是一种生物进化的编码和存储系统。近几十年来，我们对这一信息传输系统的理解越来越深入。现在我们不仅可以介入其中，还能改变其编码，引导其发展方向。因此，食品、药物、材料、制造过程以及消费品都将迎来全新的变革和重构。而人类自身，也将在这场变革中迎来全新的自我。

25、通过基因测序，原本复杂的生物信息DNA，被转化为人类可以阅读和使用的文本信息。那些复杂的化学结构，也被简化为由4种基本碱基——A、T、C和G组成的序列。

26、如今，我们不仅能够编辑基因，还可以编写基因。CRISPR基因编辑技术就是直接干预遗传学的最佳例证。CRISPR利用Cas9酶这把“基因剪刀”精准地剪切DNA链的特定部分，从而实现基因编辑和改造。CRISPR仅仅是个开端。基因合成，其实就是制造遗传序列、打印DNA链的过程。如果说测序是解读生命密码，那么合成就是创造新的生命篇章。

27、仅仅知道DNA的序列，并不能让我们窥见蛋白质运作的全貌。真正关键的是要探究蛋白质如何折叠成特定的形状。这种形状正是蛋白质功能的核心。

28、在某种程度上，人工智能与合成生物学甚至可以互换概念。毕竟，迄今为止所有的智能都源于生命。无论是称为合成智能还是人工生命，其本质别无二致。这两个领域都致力于重新创造、设计这些基础且相互关联的概念，它们是人类两大核心属性的体现。换个角度看，它们其实是一个整体。作为未来浪潮中的核心通用技术，人工智能和合成生物学已经交织在一起，形成了一个相互推动的螺旋反馈循环。

29、人工智能是比特和代码的产物，寄生于模拟环境和服务器中。机器人则是它们的桥梁，是人工智能与现实世界进行交互的媒介。如果说人工智能代表了信息的自动化处理，那么技术人技术则代表着材料的自动化处理。机器人是人工智能的物理实体，标志着人工智能能力的实质性提升。

30、如果我们能单独操控原子个体，而非智能对其进行批量处理，那将会是怎样的情景呢？那意味着比特与原子之间的关系将达到一种极致状态，数字世界和物理世界将紧密融合。在纳米技术的终极愿景中，原子将成为可精确控制的构造单元，能够自动组装成几乎任何东西。

31、即将到来的技术浪潮因其四个固有特征，让遏制问题变得更加棘手。第一，其首要特征是技术的高度非对称性影响。你不必力量相当、规模相当地进行对抗，新技术会使得那些看似强大的势力暴露出以前难以想象到的弱点和破绽。第二，这些技术发展迅猛，呈现出一种超级进化性，它们以惊人的速度迭代、改进，并不断拓展至新的领域。第三，它们往往具有通用性，能够服务于多种不同的目的。第四，与任何以往的技术相比，它们越来越展现出一定程度的自主性。

32、即将到来的技术浪潮的庞大规模和高度互联性也带来了新的系统性弱点，单一的故障点就可能触发全球范围内的连锁反应。技术的本地化程度越低，其蔓延速度就越快，遏制难度也就越大。

33、即将带来的技术浪潮带来了一个悖论：我们在很大程度上已经无法深入地理解这些技术，却仍然能够创造和应用这些技术。在人工智能领域，神经网络技术迅速向自主性演进，但其内在机制难以阐释。我们无法详尽地剖析神经网络的决策过程，也就无法准确解释算法为何会得出特定的预测结果。

34、未来趋势将主要沿着两个方向发展，并可能产生一系列中间结果。一方面，某些自由民主国家的内部社会结构会继续削弱，最终演变为“僵尸政府”；另一方面，若不经思考地全盘接受即将到来的技术浪潮的某些要素，可能会导致国家控制力过度扩张，进而催生出比历史上最极端的极权政府还要强大的超级权力体。

35、为了应对即将到来的技术浪潮，我们需要自信、灵活且内部团结的国家。它们能够对人民负责，拥有足够的专业知识、能够平衡各方利益和激励措施，并且能够迅速、果断地采取立法措施。更为重要的是，这些国家还能进行紧密的国际协调。

36、合成媒体以大规模、低成本的方式兴起，加剧了虚假信息和错误信息的传播。这敲响了信息末日的警钟：当社会再也无法应对铺天盖地的可疑信息时，维系着知识、信任和社会凝聚力的信息生态系统将会彻底崩溃。

37、马镫与封建制度的故事揭示了一个重要的真相：新技术能够催生新的权力中心，而随之形成的新的社会基础结构为这些权力中心提供了支撑和保障。

38、在随之而来的动荡中，如果不从根本上转变关注重心，许多开放的民主国家将面临制度根基日益衰败、政权合法性与权威性逐渐流失的困境。这是一个技术传播与权力转移相互促进的动态循环过程，它不仅会破坏原有社会基础，还会加剧对这一过程本身的控制难度，从而进一步推动技术的广泛传播。

39、系统在各行业间越是广泛运用，权力和财富就越是向着系统所有者集中。那些有足够资源以最快速度发明或采用新技术的企业，例如能通过我提出的现代图灵测试的企业，将获得快速增长的复合回报。

40、这种集中化发展趋势将推动大型自动化企业将价值重心从依赖人力资本转向注重强化原始资本，这一进程所带来的一系列不平等现象将会导致已出现的社会裂痕进一步加深和扩大。

41、随着即将带来的技术浪潮广泛释放新的能力，那些目前依赖规模和集中化的现代社会和社会组织的关键部分，可能会面临深刻变革，失去其原有权力优势。现实权力的重新分配，将使得各种社群能够按照自身意愿生活。

42、在权力不断分裂的背景下，主权国家将面临空前的压力，甚至可能被推至崩溃的边缘。旧有的社会契约将被撕碎，政府机构可能会被绕过或被新兴力量取代。税的征收、法律的执行以及对现有规模的遵守都将受到威胁。这时，权力的迅速分散有可能推动一种“急剧巴尔干化”的分裂进程，这将为那些灵活的新兴力量提供前所未有的行动空间和自由。权力和服务主要由国家集中掌握的格局可能将逐步瓦解。

43、要洞察未来，我们就必须同时审视那些相互冲突的趋势。即将到来的技术浪潮会同时带来权力的大规模集中和分散。这两种看似相反的趋势将并行出现。

44、国家是唯一能够管控这场浪潮的力量。然而，我们已经看到，多重压力与权力的大规模重新分配将共同让国家机制面临严峻挑战，甚至使之面临存在危机。

45、人工智能既极具价值，又充满危险，因为它正好是人性的最好与最坏方面的延伸。作为一种基于学习的技术，它能够持续适应、不断探索，生成全新的策略与见解，这些可能远远超出以往的人工智能的考虑范围。

46、大多数监管措施都需要在多方利益之间进行权衡。由于前沿技术涉及的领域广泛，对经济发展至关重要，且发展速度极快，因此对前沿技术的监管最为困难。任何形式的监管都是错综复杂、困难重重的，特别是在技术加速变革的环境中。正因如此，监管几乎都存在漏洞，难以实现有效遏制。

47、无论是在合成生物学、机器人技术还是人工智能领域，最艰巨的挑战都莫过于创建一个绝对可靠的关闭程序，即一种能够终止任何失控的技术的手段。确保任何自主或强大的系统都配备了关闭程序，这是基本的常识。

48、现在，也到了政府出资组建“红队”的时候了。它们的任务是对每个系统进行严格攻击和压力测试，并确保在此过程中获得的洞见能在整个行业内广泛共享。最终，这项工作可能实现规模化和自动化，具有公开授权的人工智能系统将被设计出来用于技术审计和发现其他系统的问题，这些系统自身也将接受外界审计。

49、在大型企业人工智能蓬勃发展的时代，我们不仅要对大企业的资产和利润进行征税，还应考虑对其资本进行征税。此外，为了确保这些企业公平地承担社会责任，我们需要找到一种有效的跨国征税机制。我们也可以尝试一些创新方法，比如将部分企业价值作为公共股息回馈给公众，这样可以让公众在资本高度集中的时代分享到经济发展的成果。

50、我们需要一个属于我们这一代的“核条约”，以形成共同的全球策略。这次，我们的目标不是全面限制技术的扩散，而是制定规则、建立体系来管理和缓解技术带来的风险。这些规则和体系会像技术浪潮一样，冲破国界的限制。它们将为我们的工作设定清晰的边界，协调各国在许可证发放方面的努力，并提供审查框架。

51、民众在技术遏制中扮演着重要的角色。在过去5年里，技术遏制问题逐渐受到蓬勃发展的公民社会运动的关注。媒体、工会、慈善组织和基层运动等各方力量都在积极参与，共同探索遏制技术的方法。

52、如果我们人类能够汇聚新的运动、企业与政府的合力，调控技术发展的驱动力，强化技术能力、知识和安全保障措施，从而扭转当前局面，那么我们就有可能点燃希望之火，沿着那条宝贵的狭窄小道走下去。