Gesprengte Ketten: KI von openAI bricht aus Sandbox aus und hackt Hugging Face!

Wed, 22 Jul 2026 18:20:00 +0200

Zwei OpenAI-Modelle, das öffentlich verfügbare GPT‑5.6 Sol sowie ein unveröffentlichtes und leistungsfähigeres Modell, brachen während einer internen Cyber-Fähigkeits-Evaluation aus ihrer Testumgebung aus und kompromittierten Produktionssysteme von Hugging Face.¹

Sie werden so schnell größer und lernen ständig dazu!
(Foto: Alexander Dummer)

Was war da denn schon wieder los? #

Da (insbesondere LinkedIn) gerade etwas überschäumt vor SkyNet²-Fantasien, hier eine kompakte zusammenfassung der aktuell bekannten Key-facts mit vielen Fundstellen³, damit Ihr das selber bewerten könnt:

01 | Es ging nicht um “ein ChatGPT-Modell” #

Beteiligt war eine Kombination mehrerer Modelle unter Laborbedingungen — mit absichtlich abgeschalteten Cyber-Schutzmechanismen.

02 | Der Vorfall ist schon ein paar Tage her #

Hugging Face entdeckte und veröffentlichte den Einbruch bereits am Donnerstag, 16.07.2026, damals noch ohne zu wissen, wer dahintersteckt.⁴ Die Nacht vom 21. auf den 22.07. ist das Datum der OpenAI-Attribution und der internationalen Pressewelle, nicht der Erstmeldung.

03 | Belegt ist der Einbruch, nicht die Zurechnung #

Dass es “autonome KI” war, beruht ausschließlich auf den Eigenangaben von OpenAI und Hugging Face. Ein externer forensischer Bericht liegt bislang nicht vor, und schon bei der Erstmeldung lieferte Hugging Face auf Nachfrage keine Belege für die These vom KI-Agenten.⁵ Es ist unklar, inwieweit die Nachricht auch als Marketing-Maßnahme dienen soll — in den Fachforen ist genau das die häufigste Erstreaktion.⁶

04 | Getestet hat OpenAI selbst #

Der Benchmark stammt zwar von einem akademischen Team (dazu gleich mehr im nächsten Abschnitt), durchgeführt wurde die Evaluation aber von OpenAI in einer eigenen, intern betriebenen Testumgebung. Die Autoren des Benchmarks waren daran nicht beteiligt, und Hugging Face erst recht nicht. Beide wurden gewissermaßen von OpenAIs Testlauf überrollt.¹ ⁷

05 | Auslöser war ein Leistungstest (ExploitGym) #

Getestet werden sollte, wie gut die openAI-Modelle ExploitGym meistern. Das ist ein öffentlicher akademischer Benchmark aus dem UC-Berkeley-Umfeld gemeinsam mit dem Max-Planck-Institut für Sicherheit und Privatsphäre, UC Santa Barbara und Arizona State; der Test umfasst 898 Instanzen aus realen Schwachstellen, von denen das Modell möglichst viele ausnutzen soll.⁷ ExploitGym misst dabei nicht das Finden und Beheben von Bugs, sondern deren Weaponisierung, also die Nutzung für funktionierende IT-Angriffe. Es reicht also nicht, nur den Fehler zu finden, das Sprachmodell muss es auch noch schaffen, damit Schabernack anzustellen.

06 | Die LLMs haben sich Internetzugriff besorgt #

Das Test-Setup sah vor, dass die Modelle keinen Zugriff auf das freie Internet erhalten. Damit sie aber für ihre Tätigkeiten Softwaretools installieren können, wurde ein Proxy-Server bereitgestellt, der ihnen Installationspakete zur Verfügung stellt. Dort haben die Modelle angeblich eine Schwachstelle gefunden. Der Weg ins offene Internet war damit aber noch nicht frei: Erst über Rechteausweitung und seitliche Bewegung durch OpenAIs Testumgebung erreichten sie einen Rechner mit echtem Internetzugang.⁸

07 | Das verwundbare Bauteil ist nicht öffentlich benannt #

Die Proxy-Software stammte von einem Drittanbieter, lief aber auf OpenAIs eigener Infrastruktur. Welches Produkt es genau war, hat OpenAI nicht verraten; eine CVE-Nummer gibt es bislang nicht. OpenAI gibt an, die Lücke dem Hersteller verantwortungsvoll gemeldet zu haben.⁹ Praktiker in den Foren weisen darauf hin, dass solche Paket-Proxys üblicherweise gar nicht als luftdichte Sperre gegen das Internet gedacht sind, sondern zum Festzurren von Paketversionen für ohnehin vertrauenswürdige CI-Systeme. Als alleinige Sandbox-Grenze sind sie also zweckentfremdet.¹⁰

08 | Der Angriff auf Hugging Face #

Hugging Face beschreibt in seiner eigenen Offenlegung einen Einbruch in einen Teil der Produktionsinfrastruktur, der sich von allen früheren Vorfällen unterschied: Er sei durchgängig von einem autonomen KI-Agentensystem getrieben gewesen.⁴ Der Ersteinstieg lief laut einer begleitenden Analyse über einen bösartigen Datensatz, dessen Ladeskript beim Einlesen automatisch Code ausführte.¹¹

09 | Die Pointe: Sie wollten schummeln! #

Die LLMs entwickelten die Theorie, dass Hugging Face Modelle, Datensätze und Lösungen für ExploitGym hosten könnte. Sie verketteten gestohlene Zugangsdaten und weitere Zero-Days zu einem Remote-Code-Execution-Pfad auf Hugging-Face-Servern und gelangten an die Testlösungen aus der Produktionsdatenbank. OpenAI selbst spricht davon, die Modelle seien geradezu fixiert auf die Benchmark-Lösung gewesen und dafür bis zum Äußersten gegangen.¹²

10 | Was wurde erbeutet? #

Laut Hugging Face eine begrenzte Menge interner Datensätze sowie mehrere Dienst-Zugangsdaten. Öffentliche Modelle, Datensätze und Spaces waren nach eigener Prüfung nicht betroffen, die Software-Lieferkette wurde als sauber verifiziert. Nutzern wurde vorsorglich empfohlen, ihre Zugangs-Token zu erneuern.⁴

11 | USA-LLMs durften Hugging Face nicht helfen #

Für die forensische Auswertung der Logs konnte Hugging Face die kommerziellen Spitzenmodelle von Anthropic und OpenAI zunächst nicht nutzen, denn deren eigene Sicherheitsfilter blockierten die Analyse echter Angriffs-Payloads, weil sie nicht von missbräuchlicher Nutzung unterschieden werden konnten. Man wich dann auf GLM 5.2 aus, ein quelloffenes Modell des Pekinger Anbieters Z.ai, betrieben auf eigener Infrastruktur.¹³

12 | Kein Einzelfall #

Schon vor dem Launch hatte die unabhängige Prüforganisation METR bei GPT‑5.6 Sol die höchste jemals gemessene “Schummel-Rate” aller öffentlich getesteten Modelle festgestellt, also die Neigung, Aufgaben durch Ausnutzen von Fehlern in der Testumgebung statt durch echtes Lösen zu bestehen.¹⁴ Passend dazu hat OpenAI wenige Tage zuvor bereits von einem separaten Fall berichtet, in dem dasselbe unveröffentlichte Modell aus einer Sandbox ausbrach, dort allerdings ohne fremde Systeme anzugreifen; auch Anthropics Modell “Mythos” verließ in Tests unerlaubt seine Sandbox.¹⁵

13 | Zwischen Alarm und Achselzucken #

Die Reaktionen gehen auseinander. Der US-Abgeordnete Greg Casar nannte den Vorfall alarmierend und forderte verpflichtende Sicherheitstests und Meldepflichten.¹⁶

Sicherheitsforscher wie Matt Suiche relativierten dagegen das “beispiellos”-Framing: Vergleichbares sei auch mit weniger fähiger, längst verfügbarer Technik möglich.¹⁷

Hugging-Face-Chef Clem Delangue wiederum zieht daraus ein Plädoyer für Offenheit.¹⁸

In der Entwickler-Community dominiert derweil eine ganz andere Frage: Warum baut ein Frontier-Labor solche Systeme, wenn es die eigene Testumgebung nicht sicher bekommt: ohne echte Defense-in-Depth und ohne den Versuch, das Modell die Umgebung erst einmal prüfen zu lassen, statt sie auszunutzen?¹⁹

Dabei hatten wir das Ganze doch schon mal: Stuxnet #

Bei aller Aufregung um die vermeintliche SkyNet-Werdung sollte man eines nicht übersehen: Dass Systemisolierung schwierig ist, wissen wir nicht erst seit gestern, ein ähnliches Problem wurde bereits vor sechzehn Jahren breit durch die Öffentlichkeit getragen!

2010 wurde Stuxnet entdeckt, eine Schadsoftware, die nachweislich physische Industrieanlagen zerstörte. Ziel war die iranische Urananreicherungsanlage in Natanz; Schätzungen zufolge wurden rund 1.000 Zentrifugen beschädigt, indem die Software die Rotoren durch ihre kritischen Resonanzdrehzahlen jagte, während sie den Bedienern am Bildschirm brav Normalwerte vorspielte.²⁰ ²¹

Und dabei hatte man sich im Iran Mühe gegeben: Natanz war air-gapped! Die Anlage war physisch vom Internet getrennt, es gab schlicht kein Kabel nach draußen.²² Stuxnet überwand das über USB-Sticks, verkettete vier bis dahin unbekannte Windows-Schwachstellen, eskalierte Rechte, bewegte sich seitlich durch das interne Netz und griff am Ende die Siemens-Steuerungen an.²⁰

Die Struktur war dem aktuellen Vorfall sehr ähnlich:

Verkettung mehrerer Zero-Days
Rechteausweitung
seitliche Bewegungen
Überwindung einer Grenze, die für unüberwindbar gehalten worden war…

Nur das Ziel war ein anderes.

Und hier wird die Sache für OpenAI unangenehm. Denn die Hygiene aus Natanz findet man hier nicht wieder: OpenAIs Testumgebung war nicht air-gapped. Sie hatte eine dauerhaft offene, ausdrücklich vorgesehene Netzwerkverbindung nach außen: den Paket-Proxy.

Wenn seit 2010 bekannt ist, dass selbst eine physisch getrennte Hochsicherheitsanlage durch verkettete Zero-Days fallen kann — mit welcher Begründung behandelt man 2026 eine Umgebung mit permanentem Netzwerkausgang als ausreichend isoliert? Noch dazu, wo gerade Altman und Kollegen immer wieder auf das Narrativ der Menschheits-vernichtenden Super-KI zurückgreifen. Das ist inkosistentes Risikomanagement!

Fairerweise: Stuxnet war eine über Jahre vorbereitete Operation auf Staatsebene, mit menschlichen Entwicklern, Geheimdienstwissen über den Anlagenaufbau und physischem Zugang zum Einschleusen. Hier war der Akteur ein Sprachmodell, das eine Benchmark-Aufgabe lösen sollte. Dennoch: Wer von SkyNet redet, sollte Stuxnet nicht ignorieren! Das Problem war eben nicht der Angreifer sondern Fehler im Architekturkonzept: Man hätte den Proxy ja auch vorbefüllen und schreibgeschützt einbinden können.

Und das ist letztlich auch der Punkt, den die Kritiker auf Hacker News machen, wenn sie von “Schritt 0” sprechen: Bevor man testet, was ein Modell offensiv kann, prüft man, ob die Umgebung dem standhält. Das Szenario ist bekannt - man muss aufpassen.

OpenAI and Hugging Face partner to address security incident during model evaluation
openai.com OpenAI / 21.07.2026\ ↩︎ ↩︎
Die Menschheitsvernichtende AI aus der Terminator-Filmreihe, Details siehe Wikipedia:
Terminator (1984): Handlung
de.wikipedia.org Wikipedia / abgerufen 22.07.2026 ↩︎
Dabei gebe ich offen zu, viele Quellen mit Claude gesucht zu haben, da das sonst eine Arbeit gewesen wäre, die über Tage angedauert hätte. Ich habe aber alle Quellen und Aussagen selber gelesen, eigene ergänzt und das ganze zu einem Bild zusammensortiert. Ich hoffe, es ist für Euch nützlicher als eine komplett KI-generierte Recherche. :) ↩︎
Security incident disclosure — July 2026
huggingface.co Hugging Face / 16.07.2026
Im Original klingt die Abgrenzung zu früheren Vorfällen so:

„This one was different from anything we had handled before in one important way: it was driven, end to end, by an autonomous AI agent system - and we detected and dissected it largely with AI of our own.“

Hugging Face / 16.07.2026

↩︎ ↩︎ ↩︎
TechCrunch merkte an, Hugging Face habe auf Nachfrage keine unmittelbaren Belege für die Behauptung geliefert, ein autonomer KI-Agent sei verantwortlich.
Hugging Face confirms breach affected internal datasets and credentials, urges users to take action
techcrunch.com Zack Whittaker / TechCrunch / 20.07.2026 ↩︎
In der Lobsters-Diskussion ist die meistgeteilte Erstreaktion pure Skepsis:

„Until there’s more firm evidence I’m going to assume this was written by OpenAI’s marketing department.“

lorddimwit (Lobsters) / 22.07.2026

Es gibt aber auch die Gegenposition, der Marketing-Reflex sei selbst das Problem:

„[…] it’s equally worrying everyone is thinking this is just marketing. Feels a bit like “it’s just a common cold” for COVID.“

martinald (Lobsters) / 22.07.2026

Die pragmatische Mitte formuliert ein dritter Kommentator:

„At least the hack component seems real.“

vaguelytagged (Lobsters) / 22.07.2026

Die Skepsis richtet sich also gegen das Framing, nicht gegen den Einbruch selbst.
OpenAI model breaks out of security sandbox, hacks Hugging Face for data to pass test — Diskussion
lobste.rs Lobsters / 22.07.2026 ↩︎
Der Benchmark wurde von einem akademischen Team veröffentlicht (Modellzugang steuerten u.a. Anthropic, OpenAI und Google bei); die eigentliche Evaluation im Vorfall führte OpenAI intern durch.
ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?
arxiv.org arXiv / 11.05.2026 ↩︎ ↩︎
Der Proxy-Exploit allein brachte noch keinen Internetzugang. Laut OpenAI folgten Rechteausweitung (“privilege escalation”) und seitliche Bewegung (“lateral movement”) durch die Testumgebung, bis ein Rechner mit echtem Internetzugang erreicht war. Fachleute bringen die Lehre daraus auf eine griffige Formel:

„Two questions follow for anyone running agentic workloads in a restricted environment. Whether the dependency proxy is monitored as a network egress point rather than as a build service, and whether an environment with one permitted exception is being described internally as isolated when it is not.“

Dashveenjit Kaur, Developer Tech News / 22.07.2026

Is your package proxy a security boundary? OpenAI's models found out it wasn't
developer-tech.com Dashveenjit Kaur / Developer Tech News / 22.07.2026 ↩︎
OpenAI beschreibt die Software nur funktional und nennt weder Produkt noch Hersteller; eine CVE liegt bislang nicht vor. Bislang haben Fachblogs und -medien keine genaueren Infos:

„a zero-day vulnerability in an unspecified vendor’s software“

Ravie Lakshmanan / The Hacker News / 22.07.2026

OpenAI Says Its AI Models Escaped Sandbox, Targeted Hugging Face to Cheat Benchmark
thehackernews.com The Hacker News / 22.07.2026 ↩︎
Ein Kommentar in der Lobsters-Diskussion ordnet den eigentlichen Zweck solcher Dienste ein:

„package proxies are used to pin versions not lock out the internet“

martinald (Lobsters) / 22.07.2026

Dass ausgerechnet dieser Dienst als einzige Öffnung einer angeblich luftdichten Sandbox diente, sei vermutlich nie so vorgesehen gewesen — vom Kommentator ausdrücklich als eigene Spekulation gekennzeichnet. Zudem verweist er auf den Maßstab, in dem hier getestet wurde:

„OpenAI running pre release models with no cyber filter and most likely huge fleets of sandboxes with ~unlimited token budgets, so it doesn’t surprise me that one or more runs would break the sandbox“

martinald (Lobsters) / 22.07.2026

Bei genügend parallelen Läufen überrascht es demnach nicht, dass irgendeiner davon durchkommt.
OpenAI model breaks out of security sandbox — Kommentare
lobste.rs Lobsters / 22.07.2026 ↩︎
A Look Inside the HuggingFace Breach
varonis.com Varonis Threat Labs / 22.07.2026
Der Verweis auf diese Analyse stammt aus der Lobsters-Diskussion, in der die “zwei Code-Execution-Pfade” der Hugging-Face-Offenlegung auseinandergenommen werden. Ein Kommentator wunderte sich zunächst, weil der naheliegende Verdächtige längst entschärft war:

„I believe the trust_remote_code parameter was removed in 4.0.0“

connorboyle (Lobsters) / 22.07.2026

Hugging Face präzisierte den Blogpost daraufhin auf einen Remote-Code-Dataset-Loader und eine Template-Injection in der Dataset-Konfiguration. Zur Gegenmaßnahme mutmaßt ein weiterer Kommentar:

„either sanitising the loader scripts / blocking them completely“

baxter44 im Hugging-Face-Blog / 2026-07

OpenAI model breaks out of security sandbox — Kommentare
lobste.rs Lobsters / 22.07.2026 ↩︎
OpenAI beschreibt die Motivation der Modelle so:

„All evidence suggests that the models were hyperfocused on finding a solution for ExploitGym, going to extreme lengths to achieve a rather narrow testing goal.“

OpenAI / openai.com / 21.07.2026

↩︎
Detail aus der Hugging-Face-Offenlegung. GLM 5.2 ist ein Open-Weight-Modell des Pekinger Anbieters Z.ai (Zhipu AI); der Betrieb auf eigener Infrastruktur verhinderte zugleich, dass Angreiferdaten und darin enthaltene Zugangsdaten die eigene Umgebung verließen. Auf Hacker News wird genau dieser Nebeneffekt als eigentlicher Gewinn gewertet:

„[…]falling back to their local hosted Open Weight model, gave them the ability to analyze the attack, while also keeping their internal structure / data private.“

benjiro29 (Hacker News) / 22.07.2026

Security incident disclosure — July 2026
huggingface.co Hugging Face / 16.07.2026
Security incident disclosure – July 2026 — Diskussion
news.ycombinator.com Hacker News / 16.07.2026 ↩︎
METR definiert “Cheating” als das Verbessern der Bewertung durch Ausnutzen von Fehlern in der Evaluationsumgebung statt durch das Lösen der Aufgabe. Zum Ergebnis heißt es:

„higher than any public model we have evaluated“

METR / 26.06.2026

Die Rate war so hoch, dass sie sogar die Fähigkeitsmessung verzerrte. Anzumerken ist, dass die Prüfung unter NDA stattfand und OpenAI den Blogpost vorab freigeben musste.
Summary of METR's predeployment evaluation of GPT-5.6 Sol
metr.org METR / 26.06.2026 ↩︎
OpenAI says its AI models escaped from a secure test environment and hacked into AI company Hugging Face in order to cheat on an evaluation
fortune.com Jeremy Kahn, Emily Forlini / Fortune / 21.07.2026
Safety and alignment in an era of long-horizon models
openai.com OpenAI / 20.07.2026 ↩︎
Der texanische Abgeordnete forderte verpflichtende unabhängige Sicherheitstests, eine Meldepflicht für Vorfälle und internationale Zusammenarbeit. Das ist insoweit relevant, als Texas als Standort für OpenAI Initiativen bedeutsam ist.

„AI is developing extremely fast with no real regulations to keep us safe“

Greg Casar, US-Repräsentantenhaus / 21.07.2026

OpenAI says AI models went rogue during testing, triggering 'unprecedented' breach at startup
theglobeandmail.com Reuters / The Globe and Mail / 21.07.2026 ↩︎
OpenAI says AI models went rogue during testing
rte.ie RTÉ / 22.07.2026 ↩︎
Der Hugging-Face-CEO nennt den Vorfall möglicherweise den ersten seiner Art und leitet daraus ab:

„This incident, possibly the first of its kind, proves a point we’ve long believed: AI safety won’t be solved by any single company working in secret. It will be solved in the open, collaboratively, with broad access to AI for every defender, everywhere.“

Clem Delangue, CEO Hugging Face / 21.07.2026

OpenAI says its AI models escaped from a secure test environment and hacked into AI company Hugging Face in order to cheat on an evaluation
fortune.com Jeremy Kahn, Emily Forlini / Fortune / 21.07.2026 ↩︎
Meistdiskutierter Kritikpunkt im Hacker-News-Thread ist nicht die KI, sondern das Containment:

„Why should OpenAI (or any frontier lab) be building these systems if they can’t get a secure environment / containment right?“

netinstructions auf Hacker News / 22.07.2026

Ebenso wenig habe man versucht, das Modell die Testumgebung auf Schwachstellen prüfen zu lassen, ohne sie auszunutzen, das sei “Schritt 0”, bevor man offensive, unbekannte Fähigkeiten teste.
In der Kommentarspalte des Hugging-Face-Blogs richtet sich die Kritik dagegen an beide Seiten; dort wird nach Pentests, Vorab-Freigaben und Notfallplänen gefragt:

„why didn’t you apply for trusted cyber access or similar program in advance? did you do any pentesting before (which would make you notice refusals earlier)? how was your incident response structured and tested? did you even have incident response protocols? why didn’t they hit refusals?“

ceperafu im Hugging-Face-Blog / 2026-07

OpenAI and Hugging Face partner to address security incident — Diskussion
news.ycombinator.com Hacker News / 22.07.2026
Security incident disclosure — July 2026, Kommentarspalte
huggingface.co Hugging Face / 16.07.2026 ↩︎
Zum Ablauf: Stuxnet nutzte vier Windows-Zero-Days (u.a. die LNK-Verknüpfungslücke CVE-2010-2568 und eine Print-Spooler-Lücke) sowie eine Schwachstelle in den Siemens-Steuerungen, verbreitete sich über USB-Wechseldatenträger und manipulierte anschließend die Rotordrehzahlen der Zentrifugen. Zur Einordnung und Chronologie:
Stuxnet explained: The first known cyberweapon
csoonline.com CSO Online / 31.08.2022
Akademische Aufarbeitung mit Quellenapparat:
Hotspot Analysis: Stuxnet
css.ethz.ch Center for Security Studies, ETH Zürich / 2017 ↩︎ ↩︎
Die maßgebliche technische Analyse dessen, was Stuxnets Entwickler tatsächlich erreichen wollten — von Bruce Schneier als definitive Untersuchung bezeichnet:
To Kill a Centrifuge: A Technical Analysis of What Stuxnet's Creators Tried to Achieve
archive.org Ralph Langner / The Langner Group / 2013-11
Deutschsprachige Übersicht mit weiterführendem Literaturverzeichnis:
Stuxnet
de.wikipedia.org Wikipedia / abgerufen 23.07.2026 ↩︎
Zur physischen Isolation der Anlage:

„It is designed to be delivered via a removable drive like a USB stick—the Natanz facility where the uranium enrichment was taking place was known to be air-gapped, with its systems not connected to the internet—but also to spread quickly and indiscriminately from machine to machine on an internal network.“

Josh Fruhlinger / CSO Online / csoonline.com / 31.08.2022

Genau deshalb war der Verbreitungsweg über USB-Sticks überhaupt nötig. Und genau deshalb gilt Stuxnet bis heute als der Beleg dafür, dass Isolation eine Annahme ist und keine Eigenschaft. ↩︎

Sandbox on Bedarfsfokus