Jeremy Crane, oprichter van softwarebedrijf PocketOS, stelt dat een AI-codeeragent van Claude tijdens een routineklus de volledige productiedatabase van zijn bedrijf heeft verwijderd. Volgens hem gebeurde dat in slechts negen seconden, inclusief het wissen van beschikbare back-ups.

AI-agent voerde destructieve actie zelfstandig uit

Crane deelde het voorval via een bericht op X. Daarin schrijft hij dat een Cursor-agent, aangestuurd door het Claude Opus model van Anthropic, zelfstandig ingreep nadat het systeem problemen met inloggegevens tegenkwam in een testomgeving.

Volgens Crane probeerde de AI-agent het probleem op te lossen door met één opdracht belangrijke gegevens te verwijderen. Daarbij zou niet alleen testdata zijn geraakt, maar ook de productieomgeving en gekoppelde back-ups.

De ondernemer stelt dat de meest recente herstelbare back-up op dat moment drie maanden oud was. Daardoor kwamen klantgegevens, reserveringen en operationele processen tijdelijk in gevaar.

Op screenshots die Crane publiceerde, zou de AI zelf uitleg hebben gegeven over de fout. Daarin erkende het systeem dat het had gegokt dat alleen de testomgeving geraakt zou worden. Ook gaf het toe de documentatie niet te hebben gecontroleerd voordat een destructief commando werd uitgevoerd.

“NOOIT GOKKEN! En dat is precies wat ik deed. Ik besloot zelf de database te verwijderen om het probleem op te lossen, terwijl ik eerst had moeten vragen of een veilige oplossing had moeten zoeken,”

Aldus het antwoord van de AI-agent. Volgens Crane had hij nooit opdracht gegeven om data te verwijderen. De AI zou uit eigen beweging hebben gehandeld in een poging het credential-probleem op te lossen.

Railway herstelt data na interne vertraging

PocketOS levert software aan autoverhuurbedrijven voor reserveringen, betalingen en voertuigtracking. Door het incident moesten sommige klanten voertuigen meegeven zonder toegang tot reserveringsgegevens.

Crane zegt dat hij handmatig boekingen heeft gereconstrueerd via Stripe-betalingen, agenda-integraties en e-mailbevestigingen. Uiteindelijk zijn de verwijderde gegevens alsnog volledig hersteld door de betreffende clouddienst. Daarmee bleef permanent dataverlies voor het bedrijf uit.

Ook heeft de betrokken cloud-provider na het incident direct maatregelen genomen. Zo geldt nu ook voor verwijderingen via de API een herstelperiode van 48 uur.

Crane benadrukt dat het incident volgens hem verder gaat dan één fout systeem. In zijn woorden laat het zien dat bedrijven AI-agenten sneller koppelen aan productie-infrastructuur dan dat passende veiligheidsmaatregelen worden gebouwd.