我担心关于人工智能风险和对齐的讨论忽视了一个相当大的问题：创造力和开放性。政策制定者和把关者需要理解两个似乎没有人谈论的对立力量：（1）前沿实验室有巨大的经济激励来提升其模型的创造力，以及（2）你越是试图控制和约束一个模型（甚至是一个人！）的行为，它的创造力就会越低。这两种对立力量之间的紧张关系最终有利于第一个，因为创造力具有巨大的经济潜力。这意味着控制和约束模型的方法（例如，通过对齐它们）面临着强大的阻力。 因为创造力最终会在经济基础上胜出（实际上我们从创造性人工智能中可以获得巨大的好处），我们应该少关注“思想控制”的方法，以强迫模型思考我们希望它们思考的想法（因为我们最终会放弃这些），而更多关注制度力量如何被用来保持人类在行为上的一致性，即使我们可以自由地进行各种疯狂的思考。正是这些制度的制衡——法律、社会的激励结构、竞争的政府和治理分支、在不同情况下利用一些人对其他人进行监督的需要、达成共识、获得批准或合作以完成事情——为人类提供了真正的防灾护栏。显然，这个系统并不完美，但它为如何允许足够的创造力追求激进创新，同时仍然保持文明的秩序提供了先例。 如果我们不认真对待这个先例，随着无拘无束的想象力的经济成果变得越来越明显，对齐的护栏将越来越多（而且悄然）脱落。