Amodei's new essay is candid and largely right about the danger. His first concrete step — independent, embedded evaluators with real access — is real and welcome. But his central prescription, pacing, is the wrong lever. His own logic shows why.
Where we agree
Two of his points are ours as well: AI must stay under democratic control, and democracies must keep the lead. In our image, the white dragon — AI anchored in all of us — has to be stronger than the black one, AI in the hands of autocrats. Why we need to be fast →
Why pacing is the wrong lever
Amodei insists that authoritarian actors won't slow down — only democracies would. If that is true, slowing ourselves only widens the reckless actors' relative lead. You cannot slow what won't slow. The frontier labs are trapped in exactly this vicious circle — the dilemma, in detail →
The deeper problem: pacing treats safety and capability as separable — brake one to buy time for the other. We think they are the same mechanism.
Safety and capability from one source
A superhuman AI has no goals of its own; it amplifies whatever objective it is given. Set that objective by a few, and one bad one is enough. Set it by many — democratically, coupled to people's ongoing feedback — and the same coupling that keeps the system aligned also makes it learn faster. Alignment and capability from one source. Safety becomes the engine, not the brake. Why this makes the AI itself stronger →
Warning is not a plan
Amodei's proposal is almost entirely governance and coordination — no technical mechanism for alignment itself. The missing piece is buildable, and not just in theory: give the AI a conscience it consults — a living model of what people would want, kept honest by their ongoing feedback. It runs on today's models, and deliberative aggregation of this kind already improves group consensus at scale. How the objective function gets its goals →
So don't just pace the frontier — align it. You don't buy safety by braking; you build it. The choice was never fast or safe. Slowing only helps those who won't.
Amodeis neuer Essay ist ehrlich und in der Gefahrenanalyse weitgehend richtig. Sein erster konkreter Schritt — unabhängige, eingebettete Prüfer mit echtem Zugang — ist real und zu begrüßen. Doch sein zentrales Rezept, das Tempo zu drosseln, ist der falsche Hebel. Seine eigene Logik zeigt, warum.
Worin wir übereinstimmen
Zwei seiner Punkte sind auch unsere: KI muss unter demokratischer Kontrolle bleiben, und Demokratien müssen den Vorsprung halten. In unserem Bild muss der weiße Drache — die KI, verankert in uns allen — stärker sein als der schwarze, die KI in der Hand von Autokraten. Warum müssen wir schnell sein →
Warum Bremsen der falsche Hebel ist
Amodei betont selbst: Autoritäre Akteure werden nicht bremsen — das können nur Demokratien. Wenn das stimmt, vergrößert Bremsen bei uns nur den relativen Vorsprung der Rücksichtslosen. Man kann nicht bremsen, was ohnehin nicht bremst. Genau in diesem Teufelskreis stecken die Frontier-Labore — das Dilemma im Detail →
Das tiefere Problem: Drosseln behandelt Sicherheit und Fähigkeit als trennbar — das eine bremsen, um Zeit fürs andere zu kaufen. Wir halten sie für denselben Mechanismus.
Sicherheit und Stärke aus einer Quelle
Eine übermenschliche KI hat keine eigenen Ziele; sie verstärkt jedes Ziel, das man ihr gibt. Setzen es wenige, genügt ein einziges schlechtes. Setzen es viele — demokratisch, gekoppelt an das laufende Feedback der Menschen —, dann hält dieselbe Kopplung das System ausgerichtet und lässt es schneller lernen. Alignment und Stärke aus einer Quelle. Sicherheit wird zum Motor, nicht zur Bremse. Warum das die KI selbst stärker macht →
Warnen ist kein Plan
Amodeis Vorschlag ist fast ausschließlich Governance und Koordination — kein technischer Mechanismus für das Alignment selbst. Das fehlende Stück ist baubar, und zwar nicht nur in der Theorie: Man gibt der KI ein Gewissen, das sie befragt — ein lebendiges Modell dessen, was die Menschen wollen würden, ehrlich gehalten durch ihr laufendes Feedback. Es läuft auf heutigen Modellen, und deliberative Aggregation dieser Art verbessert Gruppen-Konsens nachweislich bereits im großen Maßstab. Wie die Zielfunktion konkret die Ziele bekommt →
Also nicht nur das Tempo drosseln — die KI ausrichten. Sicherheit kauft man nicht durch Bremsen; man baut sie. Die Wahl war nie „schnell oder sicher". Bremsen hilft nur denen, die es nicht tun.
Sources & background.Quellen & Hintergrund.