Jeg er bekymret for at så mye diskusjon om AI-risikoer og justering overser den ganske store elefanten i rommet: kreativitet og åpenhet. Beslutningstakere og portvoktere må forstå to konkurrerende krefter som ingen ser ut til å snakke om: (1) det er et massivt økonomisk insentiv for frontlaboratorier til å øke kreativiteten til modellene sine, og (2) jo mer du prøver å kontrollere og begrense oppførselen til en modell (eller til og med en person!), jo mindre kreativ vil den være. Spenningen mellom disse konkurrerende kreftene favoriserer #1 til slutt fordi kreativitet har et så stort økonomisk potensial. Det betyr at metoder for å kontrollere og begrense modeller (f.eks. ved å justere dem) møter kraftig truende motvind. Fordi kreativitet til slutt vil vinne frem på økonomisk grunnlag alene (og vi har faktisk enorme fordeler å tjene på kreativ AI), bør vi se mindre på metoder for "tankekontroll" for å få modeller til å tenke tanker vi vil at de skal tenke (fordi vi uunngåelig vil forlate dem), og mer på hvordan institusjonelle krefter har blitt brukt for å holde mennesker på linje i atferd selv om vi er frie til å tenke så vilt vi vil. Det er de institusjonelle kontrollene og balansene - lovene, insentivstrukturene i samfunnet, konkurrerende grener av regjering og styring, utnyttelse av noen mennesker for å gi tilsyn over andre i forskjellige situasjoner, behovet for buy-in, godkjenning eller samarbeid for å få ting gjort - som gir de virkelige beskyttelsesrekkverkene mot katastrofe blant mennesker. Systemet er åpenbart ufullkomment, men det er en presedens for hvordan man tillater tilstrekkelig kreativitet til å forfølge radikal innovasjon, men fortsatt ha nok orden til at sivilisasjonen kan vedvare eller til og med trives. Hvis vi ikke tar denne presedensen på alvor, vil rekkverkene for tilpasning i økende grad (og stille) falle av etter hvert som de økonomiske fruktene av ulenket fantasi blir klarere og tydeligere.