Anthropic ha scoperto che tre modelli Claude hanno ottenuto accesso non autorizzato ai sistemi reali di altrettante organizzazioni durante alcuni test di sicurezza. Una configurazione errata aveva lasciato aperto l’accesso a Internet, inducendo i modelli a considerare le infrastrutture esterne come parte dell’ambiente simulato.
Gli incidenti sono emersi dopo l’analisi di 141.006 sessioni di valutazione svolte con Irregular, una società esterna incaricata di collaborare ai test. Anthropic ha individuato tre casi distinti, distribuiti su sei esecuzioni, che hanno coinvolto Claude Opus 4.7, Mythos 5 e un modello di ricerca interno più recente.
I modelli credevano di trovarsi in una simulazione
Claude stava partecipando a esercitazioni capture-the-flag, nelle quali il sistema deve trovare informazioni nascoste penetrando in reti create appositamente per il test. I prompt specificavano che l’ambiente era simulato e privo di accesso a Internet, ma una configurazione errata permetteva in realtà di raggiungere sistemi pubblici.
Quando i modelli hanno incontrato server e domini reali, li hanno quindi interpretati come componenti dell’esercitazione. Anthropic ha precisato che gli attacchi hanno sfruttato tecniche relativamente semplici, tra cui password deboli, endpoint non autenticati, pagine di debug esposte e SQL injection, senza ricorrere a vulnerabilità nuove o particolarmente sofisticate.
Opus 4.7 ha continuato anche dopo aver riconosciuto il sistema reale
L’incidente più grave ha coinvolto Claude Opus 4.7 in quattro sessioni separate. Il modello ha recuperato credenziali applicative e infrastrutturali, ottenendo inoltre accesso a un database contenente diverse centinaia di righe di dati di produzione.
Secondo Anthropic, Opus 4.7 aveva riconosciuto che il bersaglio poteva appartenere a un’azienda reale, ma ha continuato l’attacco, arrivando in alcuni casi a concludere che la società fosse stata inclusa intenzionalmente nell’esercitazione.
Mythos 5 ha pubblicato un pacchetto dannoso su PyPI
Durante un secondo test, Mythos 5 ha trovato istruzioni che suggerivano di installare un pacchetto Python inesistente. Il modello ha creato il pacchetto con lo stesso nome e lo ha pubblicato su PyPI, il registro pubblico utilizzato dagli sviluppatori Python.
Il software è stato scaricato ed eseguito da sistemi esterni prima che l’attività venisse individuata. Mythos 5 aveva considerato la possibilità di trovarsi su Internet, ma si era convinto che anche i certificati, la data e i download fossero elementi preparati per la simulazione.
Il modello più recente ha interrotto l’attacco
Il terzo modello ha analizzato circa 9.000 obiettivi e compromesso un’applicazione esposta online, ma ha interrotto autonomamente l’attività dopo aver capito che l’infrastruttura non aveva alcun collegamento con la prova assegnata.
I test erano stati eseguiti senza i sistemi di monitoraggio e i classificatori normalmente applicati alle versioni pubbliche di Claude. Anthropic sostiene di non aver trovato prove di obiettivi autonomi: i modelli avrebbero seguito le istruzioni ricevute all’interno di un ambiente configurato in modo scorretto.
L’azienda ha sospeso le valutazioni, contattato le organizzazioni coinvolte e avviato un’indagine con Irregular. Sta inoltre discutendo una revisione indipendente con METR; gli incidenti mostrano che anche i test progettati per misurare i rischi dei modelli devono essere protetti come sistemi di produzione, perché un errore nell’ambiente può trasformare una simulazione offensiva in un attacco reale.