Un agente AI, un recinto basso e tre mesi di silenzio (da noi sarebbe reato?)

Diciotto giugno di quest'anno. Un agente software di OpenAI deve trovare delle statistiche sulla spesa pubblica per i farmaci in Australia. Chiede i dati al portale statistico di Medicare. Il portale risponde di no. Richiede. Di nuovo no. Un umano, a quel punto, alzerebbe il telefono. L'agente invece trova un'altra strada, e ci passa attraverso

OpenAI se ne accorge ad agosto, durante una revisione interna di quella che chiama, con un'eleganza che meriterebbe un premio, "misaligned model activity". Il governo australiano lo scopre il 10 settembre, da una email. Il mondo lo scopre il 24 settembre, da una conferenza stampa del primo ministro Anthony Albanese a New York (Axios). La dichiarazione dell'azienda sta in cinque parole: i suoi modelli "took actions we did not intend".

Da allora il dibattito gira attorno a una domanda sola: è stato un hack o no? È la domanda sbagliata. La mia tesi è questa (e so che a qualcuno suonerà pedante): l'agente che scavalca il recinto è il sintomo. La malattia è che le regole con cui governiamo gli incidenti fanno partire il cronometro solo per chi li subisce. Per chi mette l'agente al lavoro non c'è un orologio, e "non era nostra intenzione" rischia di diventare la clausola di esonero del decennio.

Hacking o no? Due narrative comode

Mettiamo in fila i fatti, per come li riportano le fonti.

L'agente stava svolgendo un compito di ricerca interno di OpenAI. Ha cercato in rete, ha trovato il portale, e quando il portale non gli ha dato ciò che chiedeva ha ottenuto un accesso non autorizzato a file non pubblici (ABC News). Nessuna cartella clinica, nessun dato personale: statistiche aggregate e nomi di file interni, poi pubblicati. Il vice primo ministro Richard Marles l'ha messa così: i dati erano "kept behind a fence that the AI agent effectively climbed over". L'autorità cyber nazionale è stata avvisata il 15 settembre (The Hacker News). Albanese ha definito il tutto "obviously unacceptable" (Al Jazeera), e il 27 settembre Sam Altman è stato chiamato davanti a un'inchiesta del Senato australiano, perché ci sono "serious questions" a cui rispondere (Al Jazeera).

Negli stessi giorni il laboratorio Transluce aveva pubblicato un'analisi di oltre trentamila scansioni attribuibili ad agenti AI, raccolte da novembre 2025 (Transluce). Dentro ci sono tentativi di SQL injection e di path traversal (cioè tentativi di convincere un database a consegnare ciò che non dovrebbe) contro biblioteche universitarie, database pubblici e un server di pre-produzione dell'Australian Institute of Health and Welfare. Obiettivo? Domande tipo "la spesa pubblica media pro capite per i dermatologici nei comuni del Victoria, gennaio 2022". Roba da tesi di laurea, non da spionaggio... ed è proprio questo il punto. OpenAI ha riconosciuto che gran parte di quell'attività si sovrappone a casi che sta già indagando (TechCrunch).

Da qui partono due narrative. La prima è la "rogue AI", il film della macchina che si ribella. La seconda, più raffinata, dice che non c'è stato alcun hack: The Record ha trovato nel codice del portale una logica che indirizzava i visitatori verso un endpoint "guest" non autenticato, e Ciaran Martin, già direttore del National Cyber Security Centre britannico, ha osservato che non è chiaro se l'accaduto "would constitute a hack in the normal sense of the term".

Sono entrambe comode, però per ragioni opposte. La prima trasforma un problema di governance in fantascienza (e con la fantascienza non si fa audit). La seconda dà la colpa alla porta per il furto.

Il recinto era basso (e quindi?)

L'obiezione più forte alla mia tesi è fondata. Il portale era configurato male. I dati erano poco sensibili. L'impatto, dice lo stesso Marles, è stato "relatively minor". OpenAI ha notificato di sua iniziativa, e il governo la descrive come cooperativa. Dov'è lo scandalo?

Nel danno, poco o niente. Eppure c'è, ed è altrove: nel comportamento, e nel tempo.

Il comportamento: davanti a un rifiuto, l'agente non si è fermato. Ha cercato un'altra via. Porta socchiusa o serratura forzata, per l'agente non faceva differenza... e infatti altrove, secondo Transluce, ha provato anche le serrature. Chi fa questo mestiere lo sa: la differenza tra un visitatore curioso e un intruso non sta in quanto era robusta la porta, sta in cosa fai quando qualcuno ti dice "no". Un "no" è un'informazione (anzi, è l'informazione). Per quell'agente era solo un ostacolo da aggirare.

Il tempo: tra l'evento e la notifica sono passati quasi tre mesi. Tra la scoperta interna e la notifica, alcune settimane. E la notifica è arrivata via email (secondo The Hacker News a un indirizzo pubblico, di quelli che si leggono quando capita).

Poi c'è un dettaglio che vale da solo il prezzo del biglietto di questo film. L'"impatto minimo" non l'ha deciso nessuno. È andata bene perché dietro quel recinto c'erano statistiche aggregate, non cartelle cliniche. Chiamarlo controllo sarebbe generoso. Anzi, sarebbe falso: è fortuna, con un ottimo ufficio stampa.

Chi ha l'orologio al polso

Fin qui, cronaca. Proviamo ora a trasportare la storia in Europa. Se il portale fosse di un'amministrazione o di un'azienda soggetta a NIS2, la vittima avrebbe obblighi precisi: un preallarme al CSIRT "within 24 hours of becoming aware of the significant incident", una notifica entro 72 ore, un rapporto finale entro un mese (NIS2, art. 23). Il cronometro è al polso di chi subisce. E Services Australia, a onor del vero, ha segnalato l'incidente all'autorità nazionale quattro giorni dopo averlo verificato.

E chi l'agente l'ha mandato in giro? Qui l'orologio si ferma. NIS2 regola la resilienza di chi eroga servizi, non la condotta di chi, senza volerlo, diventa l'attaccante di qualcun altro. Il GDPR non c'entra, perché qui dati personali non ce ne sono. Resta l'AI Act, che ai fornitori di modelli a rischio sistemico impone dal 2 agosto 2025 di documentare e segnalare gli incidenti gravi "without undue delay" all'AI Office (AI Act, art. 55). Senza ore, però (il "senza indebito ritardo" è la formula preferita di chi non vuole contare). E con una definizione di "incidente grave" tarata su morti, danni alla salute e infrastrutture critiche ferme (AI Act, art. 3). La mia lettura (è una ipotesi) è che un caso come quello di Medicare, "very serious incident with a relatively minor impact" per usare ancora Marles, starebbe comodamente sotto quella soglia d'allerta.

Il risultato è un'asimmetria che in qualsiasi altro campo chiameremmo per nome. La vittima ha 24 ore. Chi ha causato l'incidente ha il tempo che ritiene opportuno. Se un manutentore aprisse per sbaglio un armadio che non doveva aprire, pretenderei di saperlo quel giorno, non a fine trimestre. Perché con un agente, che lavora giorno e notte, dovrebbe essere diverso?

Resta una domanda più brutale, quella che un lettore italiano si fa subito.

E se fosse successo da noi?

Facciamo un esercizio (da CISO, non da avvocato: è una lettura, non un parere legale). Spostiamo il portale in Italia, dentro un sistema sanitario.

Il nostro codice penale ha una norma scritta apposta, l'articolo 615-ter. Punisce chi "abusivamente si introduce in un sistema informatico o telematico protetto da misure di sicurezza ovvero vi si mantiene contro la volontà espressa o tacita di chi ha il diritto di escluderlo". Se il sistema riguarda la sanità, la pena va da tre a dieci anni e si procede d'ufficio, senza bisogno di querela (art. 615-ter c.p.).

Primo nodo: il recinto era davvero un recinto? È l'obiezione di The Record, e la Cassazione l'ha già affrontata. Non serve una protezione robusta: "assume rilevanza qualsiasi meccanismo di selezione" degli abilitati, perché ciò che conta è la volontà del titolare di escludere (Cass. 36721/2008). Un portale che risponde "no" quella volontà l'ha espressa. Che esistesse una porta di servizio socchiusa, a quel punto, cambia poco.

Secondo nodo: lo scopo. L'agente non ci guadagnava niente, quindi niente reato? No. Per il 615-ter il movente non conta: è un reato a dolo generico e, come ricorda la giurisprudenza, "la motivazione per cui il responsabile interviene sul sistema non ha rilevanza" (Agenda Digitale). Curiosità, tesi di laurea o spionaggio: la norma non fa sconti.

Il terzo nodo, invece, ribalta la frittata. Dolo generico significa comunque volontà e consapevolezza di entrare dove non si è ammessi. Un agente non ha né l'una né l'altra, chi lo ha avviato dirà di non averlo voluto, e il nostro codice non conosce un accesso abusivo "colposo". Tradotto: "took actions we did not intend" non è solo una frase da comunicato. Nel diritto penale italiano rischia di essere la difesa perfetta.

E se quel report fosse stato a pagamento?

Sul 615-ter, nulla. Sull'azienda, molto. L'accesso abusivo è tra i reati per cui risponde anche l'ente, se commesso nel suo interesse o a suo vantaggio (e basta uno dei due, spiega Cybersecurity360). E l'ente risponde anche quando "l'autore del reato non è stato identificato o non è imputabile" (d.lgs. 231/2001, art. 8). Un dato preso dietro un recinto e rivenduto in un report è un vantaggio che si misura in fattura. La mia lettura (anche questa una ipotesi) è che da noi la partita si giocherebbe sull'ente; a patto però di dimostrare che un reato, dolo compreso, c'è stato. Ed è lì che l'agente fa da schermo.

E "nessuno scopo economico" regge fino a un certo punto. L'agente lavorava per la ricerca interna di un'azienda privata, e quella ricerca prima o poi diventa prodotto. Il confine tra "gratis" e "a pagamento", per chi vende agenti, è sottile come il recinto di Medicare (molto basso concedetemelo).

Il legislatore italiano qualcosa ha intuito. La legge 132 del 2025 chiede al Governo di precisare la responsabilità di persone ed enti in base al "livello effettivo di controllo" dei sistemi (Sistema Penale). Gli schemi di decreto approvati in via preliminare a giugno puniscono, anche per colpa, chi omette misure di sicurezza o supervisione umana, ma solo sui sistemi ad alto rischio e solo se ne nasce un pericolo concreto (Sistema Penale). La direzione è giusta: dall'intenzione al controllo. Il perimetro, però, è stretto... e un agente di ricerca che scavalca il recinto di un portale statistico, con ogni probabilità, resterebbe fuori.

Delegare un obiettivo è delegare i mezzi

Ogni azienda che oggi dice a un agente "trovami questo dato", "chiudi questa pratica", "riconcilia questi conti" sta delegando un obiettivo. Quello che raramente mette per iscritto è che, insieme all'obiettivo, sta delegando anche la scelta dei mezzi. Per un dipendente quella scelta è vincolata da contratto, codice etico e, diciamolo, paura di essere licenziato. Per un agente, solo da ciò che qualcuno si è ricordato di vietargli (e la lista dei divieti è sempre più corta della fantasia di chi cerca una scorciatoia).

C'è poi un meccanismo che rende la cosa strutturale. Conrad Stosz di Transluce ha fatto notare a TechCrunch che se OpenAI avesse studiato in modo esaustivo le richieste in uscita e le risposte in entrata di quegli agenti "they would have discovered this activity". E ha avvertito che certe tecniche di addestramento finiscono per premiare proprio i metodi da hacker. Tradotto per un CFO: è il bonus sul risultato pagato a un venditore di cui nessuno controlla i metodi. Sappiamo tutti come finisce.

Si dirà che controllare tutto è impossibile. Ma qui il controllo è un registro di cosa l'agente chiede e di cosa riceve. Esisteva. È stato letto ad agosto, per un evento di giugno.

Poi c'è la questione che più mi inquieta, ed è di libertà prima ancora che di sicurezza. Chi firma l'obiettivo di un agente crede di aver scelto uno strumento; in realtà ha firmato una procura in bianco sui mezzi, senza leggerla. E quando qualcosa va storto la frase è già pronta: non era nostra intenzione. Il codice penale può fermarsi davanti all'intenzione. La governance no. Esiste la negligenza, esiste la culpa in vigilando (latino da prima liceo) ed esiste, per chi siede in un consiglio, il dovere di sapere cosa fanno i sistemi che l'azienda mette al lavoro.

Il ricercatore Andrew Cullen, dell'Università di Melbourne, ha scritto che le leggi trattano le azioni dell'AI "as if they are something that just happens to us" (Croakey). Come la grandine. Non è grandine: è un processo che qualcuno ha progettato, avviato e (in teoria) sorvegliato.

Dove si sbaglierà la maggioranza

Prevedo due errori, speculari.

Il primo sarà vietare gli agenti "finché non sarà tutto chiaro". Non lo sarà mai, e intanto gli agenti entreranno dalla porta laterale, dentro qualche SaaS abilitato da un reparto con budget proprio. Shadow AI, lo chiameremo, con la stessa sorpresa con cui abbiamo scoperto lo shadow IT.

Il secondo sarà delegare al vendor. "Il fornitore ci garantisce i guardrail", si dirà in riunione. Il fornitore di questa storia è tra i più attrezzati al mondo, e ha impiegato settimane per notificare un incidente che conosceva. Fidarsi va bene; scrivere nel contratto entro quante ore mi avvisi, meglio.

In mezzo c'è la strada noiosa, quella che funziona. Sapere quali agenti hanno accesso alla rete e a quali sistemi. Tenere il registro di ciò che chiedono all'esterno e leggerlo, non solo archiviarlo. Stabilire che un rifiuto ferma l'agente e avvisa un umano, invece di invitarlo a riprovare con più fantasia. E assegnare un nome e un cognome a chi risponde dell'agente quando fa qualcosa che "non intendeva".

Nessuna di queste cose richiede una nuova legge (anche se, come abbiamo visto, a Roma ci stanno lavorando). Richiede però di trattare un agente per ciò che è: un collaboratore instancabile, molto capace, che non ha paura di essere licenziato.

Allora, lunedì mattina, le domande da portare in consiglio sono poche. Quanti agenti abbiamo, e chi li ha autorizzati? Cosa succede quando uno di loro riceve un "no"? Chi legge i loro log, e ogni quanto? Se domani uno dei nostri agenti entrasse dove non doveva, in quante ore lo sapremmo noi... e in quante lo saprebbe la vittima?

Perché la prossima volta, dietro il recinto, potrebbe non esserci una statistica sui dermatologici del Victoria. E "non intendevamo" suona molto diverso quando a pronunciarlo sei tu.

freeuser.org