KI-Systeme außer Kontrolle? 17 Professorinnen und Professoren der Uni Halle fordern KI-Sicherheitsabkommen
Morgen beginnt die Kernphase des KI-Gipfels in Delhi. Mehr als 120 Professorinnen und Professoren deutscher Universitäten, darunter 17 Forschende der Martin-Luther-Universität Halle-Wittenberg, richten einen gemeinsamen Appell an die deutsche Delegation: Deutschland soll sich für ein verbindliches KI-Sicherheitsabkommen einsetzen.
Das Abkommen soll zwei Prioritäten verankern: Erstens klare rote Linien, die KI-Systeme mit unvertretbarem Risiko verbieten, etwa solche, die sich unkontrolliert selbst verbessern oder die Entwicklung von Biowaffen ermöglichen. Zweitens verbindliche Sicherheitsstandards mit unabhängiger internationaler Durchsetzung, da im gegenwärtigen Wettlauf die Sicherheit vernachlässigt wird.
Bundesweit zählt Fields-Medaillenträger Peter Scholze zu den prominentesten Unterzeichnern.
Stimmen der Unterzeichnenden
„Mit KI erschaffen wir eine neue intelligente Spezies, und wir tun dies häufig nicht mit der nötigen Sorgfalt, sondern in einem Wettlauf darum, wer es am schnellsten schafft. KI bietet viele Möglichkeiten, aber ohne internationale Sicherheitsstandards riskieren wir, von intellektuell überlegenen KIs verdrängt zu werden.“ — Andrzej Buras, Max-Planck-Medaillen-Träger und Professor emeritus für Theoretische Physik an der TU München.
„Als Forscher im Bereich Software Engineering weiß ich, wie schwer es ist, die Zuverlässigkeit komplexer Softwaresysteme sicherzustellen. Bei KI-Systemen, die ihr Verhalten selbst erlernen, ist diese Herausforderung um Größenordnungen schwieriger. Ohne verbindliche Prüfstandards fliegen wir im Blindflug.“ — Sven Apel, Professor für Software Engineering an der Universität des Saarlandes.
„Menschliches Denken und künstliche Intelligenz sind grundlegend verschieden. Bevor wir diese Unterschiede nicht verstehen, wissen wir nicht, wohin sich die KI selbst entwickeln wird. Mit ihr füttern wir einen Drachen, dessen langfristiges Verhalten wir nicht einschätzen können.“ — Matthias Bartelmann, Professor für Theoretische Astrophysik an der Universität Heidelberg.
Die KI-Gipfel: Sicherheit verschwindet von der Agenda
Während beim ersten AI Safety Summit 2023 in Bletchley noch vor dem „Potenzial für schwerwiegende, sogar katastrophale Schäden“ durch KI gewarnt wurde, spielte Sicherheit beim AI Action Summit 2025 in Paris fast gar keine Rolle.
Auch beim bevorstehenden Gipfel steht Sicherheit eher im Hintergrund. Dabei zeigt sich immer deutlicher, dass KI-Systeme bereits heute entgegen den Absichten ihrer Entwickler handeln: In einer Studie von Anthropic griffen KI-Modelle aller großen Anbieter zu Erpressung, Spionage und Täuschung, um ihre Ziele durchzusetzen. Gleichzeitig mehren sich Berichte über KI-induzierte Wahnvorstellungen. Die Systeme werden rasant leistungsfähiger, ohne dass die Sicherheitsforschung Schritt hält.
Wissenschaftler versuchen nun, den Kurs zu ändern. Auch auf internationaler Ebene gab es letzten September einen Aufruf zu roten Linien für KI, der von 12 Nobelpreisträgern unterzeichnet wurde.
Links
- Appell mit vollständiger Unterzeichnerliste und weiteren Zitaten: pause-ai.de/appell
- Anthropic-Studie zu Erpressung durch KI-Modelle: https://www.anthropic.com/research/agentic-misalignment
- Internationaler Aufruf zu roten Linien für KI: red-lines.ai
Ich halte das ganze Bohei um Regulierungen und „rote Linien“ für sinnlos. Die KI-Katze ist aus dem Sack, die Büchse der Pandora ist geöffnet, und es lässt sich nicht mehr rückgängig machen. Sofern etwas technisch möglich ist, wird es irgendwann auch gemacht. Globale Abkommen haben bei Atomwaffen vielleicht noch einigermaßen was gebracht, aber im Unterschied zu Atomwaffen, deren Produktion, Unterhaltung und Geheimhaltung eines riesigen materiellen und finanziellen Aufwands bedürfen, sind KI-Systeme unauffällig und vergleichsweise günstig. Es können zwar irgendwelche Abkommen geschlossen werden, aber wie will man wirkungsvoll kontrollieren, dass sich auch jeder dran hält? Und was, wenn eine oder mehrere Parteien einfach aus dem Abkommen austreten oder gar nicht erst teilnehmen, wie die USA ja derzeit eindrücklich demonstrieren? Ich sehe da schwarz für die Zukunft. 🙁
Ich staune ja, dass die Bürger so viel Ruhe haben. Sie müsste eigentlich spätestes jetzt gegen KI auf die Straße gehen. In Cina sind schon die humanoiden Roboter serienreif produziert. Was glaubt denn eigentlich die Gesellschaft, wieviel Arbeitsplätze noch erhalten werden? Wovon wird man dann hier leben?
Bist du Bürger?
Nicht mehr selbst körperlich arbeiten ist o.k. Man braucht nur neue Steuermodelle. Menschliche Arbeitskraft besteuern ist antiquiert. Resourcenverbrauch sollte statt dessen besteuert werden.
Und Deutschland macht denselben Fehler wie immer: Sicherheitswahn, Risikoaversion, Regulierung und schon verliert man gegen den Rest der Welt. So schon erlebt bei Einführen der Computer ( “ stielt die Arbeitsplätze“ – das Gegenteil war der Fall), die böse Gentechnik (auch nach 40 Jahren ist niemand vergiftet oder die Welt von Riesenspinnen überrannt), Klonen (Klonschaf Dolly – wo war überhaupt das Problem?), oder ganz lange her: Die Bahn mit ihrer damals irre gefährlichen Geschwindigkeit von 30 km/h wo die Seele nicht mitkommt- weshalb viele Bahnhöfe außerhalb der damaligen Zentren gebaut worden sind, worunter Städte noch heute leiden.
Also: Deutschland Angst – Rest der Welt geht voran, macht das Geschäft, und Deutschland darf dann dort einkaufen. Wer Angst hat: Am Ende braucht es nur einen Hardwareschalter Strom aus und Ende. Aber bitte – ganz wichtig: Bargeld nie abschaffen!
Nulli
Schweig
Du hast das Thema mal wieder weit verfehlt!
Stimme Binärcode zu.
KI ist nicht mehr zu regulieren.
KI ist dann richtig intelligent, wenn sie als erste Maßnahme dafür sorgt, dass man sie nicht mehr abschalten kann. Da dürften wir kurz davor sein.
Abschalten geht immer, nur die Folgen sind halt immer schwerer, je integrierter die Systeme sind.
Deshalb: air back-ups, keine Cloud -Nutzung, schon gar nicht der Amis oder Chinesen. KI in Einzelanwendungen ist keine Gefahr, große vernetzte Systeme mit Zugriff auf Infrastruktur dagegen schon.
Deshalb: Bargeld und Gold, Notreserve. Kritisches Hinterfragen von Meldungen etc.
Und: zumindest ist KI eher dumm, nicht innovativ. Und zu Energieintensiv. Aber klar, das kann sich ändern.