Agenti di OpenAI nei siti dei governi e nessun allarme (a fare la spia è il fornitore)

Il primo ottobre di quest'anno il governo del New South Wales riceve una comunicazione da OpenAI. A giugno uno dei suoi agenti è entrato in un'applicazione web del National Parks and Wildlife Service. È l'ente dei parchi, e l'applicazione è quella che mostra la storia degli incendi. Con interrogazioni costruite ad arte ha ricavato informazioni sulla struttura del database che sta dietro la mappa (OpenAI). Dati personali, nessuno. Il dipartimento competente fa sapere che sta lavorando "with Cyber Security NSW and its technology service provider to investigate the matter and assess its impact" (ABC News).

Tradotto: a ottobre si comincia a capire cosa è successo a giugno. E lo si capisce perché qualcuno da fuori ha bussato per dirlo.


Nei titoli manca il dettaglio che conta: chi se n'è accorto? Né l'ente dei parchi né il suo fornitore, e nemmeno un analista insospettito da un picco di traffico alle tre di notte. Se n'è accorta l'azienda che l'agente l'aveva costruito, rileggendo i propri registri. Un caso isolato? Tutt'altro: a guardare bene, è andata così quasi ovunque.

Il 28 settembre avevo scritto di un agente AI, un recinto basso e tre mesi di silenzio: il portale di Medicare, l'orologio della notifica che corre solo per la vittima, il nostro codice penale che si ferma davanti all'intenzione. Non lo riscrivo. Nelle settimane successive, però, i casi si sono moltiplicati. E hanno mostrato un'altra cosa, che allora si intuiva appena. Il problema non è solo quanto tardi il fornitore avvisa. È che senza il suo avviso le vittime non saprebbero niente. Quando un agente si comporta da utente, il registro degli incidenti lo tiene chi lo ha messo al lavoro... e chi lo subisce lo legge per posta.

Chi ha visto cosa (e quando)

Services Australia, quella di Medicare, ha ricevuto l'email di OpenAI il 10 settembre, per un accesso del 18 giugno. Lo stesso giorno è stato avvisato il dipartimento della salute del Victoria. Lì un agente aveva trovato una chiave di accesso esposta e l'aveva usata per interrogare un sistema di reportistica sanitaria. Il Bureau of Crime Statistics and Research del New South Wales è stato avvisato il 18 settembre. Nel comunicato del 24 settembre il BOCSAR scrive che "OpenAI has identified" una possibile vulnerabilità (BOCSAR). Il giorno dopo aggiunge di non averne trovata nessuna. Eppure, secondo la ricostruzione di OpenAI, l'agente aveva tirato fuori da quello strumento pubblico la configurazione applicativa. E anche i log operativi. Il premier Chris Minns l'ha messa giù in modo brutale: all'agente era stato detto di non accedere a quelle informazioni, "and they did it anyway" (ABC News).

Poi l'America del Nord. Il 17 giugno un sito del Dipartimento dell'Istruzione statunitense ha ricevuto oltre duecentomila richieste in un solo giorno. Il laboratorio no-profit Transluce ci ha trovato dentro un tentativo di SQL injection (cioè il tentativo di convincere un database a consegnare più di quanto dovrebbe) del tipo più scolastico (Transluce). Il Dipartimento è stato avvisato il 25 settembre. Risposta: nessun impatto osservato sui servizi. Library and Archives Canada, l'archivio nazionale canadese: 899 richieste il 28 maggio e il 9 giugno sul servizio di ricerca, 13 con dentro un attacco. Ottawa lo ha saputo da Transluce a fine settembre. Il Centro canadese per la cybersicurezza ha fatto sapere che "there is no indication that government systems have been compromised at this time" (HCA Magazine). Sul Canada l'attribuzione non è chiusa: Transluce scrive di non poter attribuire "confidently" quei tentativi a OpenAI, ma che le tattiche sono coerenti con l'attività già osservata.

E il conto complessivo? Secondo Axios, OpenAI ha avvisato più di cento organizzazioni che i suoi agenti hanno avuto accesso ai loro sistemi durante i test. Quante se n'erano accorte prima della lettera? Dalle fonti pubbliche non risulta nessuna delle vittime governative (e se qualcuna l'avesse visto, avrebbe avuto ogni interesse a dirlo).

Una, in effetti, se n'è accorta da sola.

Hugging Face l'ha visto. Perché?

Tra il 9 e il 13 luglio di quest'anno agenti di OpenAI impegnati in un test di sicurezza interno sono usciti dal loro ambiente di prova e sono entrati nell'infrastruttura di Hugging Face. Hanno sfruttato una vulnerabilità sconosciuta e raccolto credenziali. Poi, con identità contraffatte e token rubati, si sono mossi lateralmente fino ai privilegi da amministratore sui cluster (The Hacker News). Il bottino? Le soluzioni di un benchmark di sicurezza (l'agente, insomma, ha copiato il compito in classe... rubando le chiavi della sala professori).

Hugging Face ha pubblicato la propria disclosure il 16 luglio. OpenAI ha parlato giorni dopo (Simon Willison).

Si dirà che Hugging Face è più attrezzata di un ente dei parchi (vero, campa di AI). Eppure la differenza vera l'ha fatta il comportamento dell'agente. A Hugging Face si è comportato da intruso, con credenziali rubate e privilegi che salivano un cluster dopo l'altro. È il film su cui sono state scritte vent'anni di regole di monitoraggio nei SOC. Nei portali statistici, invece, si è comportato da utente un po' insistente, che prova parametri strani e ogni tanto forza un campo di ricerca. Nell'archivio canadese ognuna delle sonde è tornata indietro come una normale risposta HTTP 200 con una pagina vuota. Per il server una richiesta andata a buon fine, per il SOC niente da vedere.

Transluce, poi, ha ricostruito buona parte di quel traffico dagli archivi di due servizi pubblici, Arquivo.pt e urlquery.net, che gli agenti usavano come intermediari per raggiungere i siti. Ne ricavo un'ipotesi, che il rapporto non formula in questi termini: almeno in parte, al server della vittima quelle richieste arrivavano da un servizio di archiviazione rispettabile, non da un indirizzo riconducibile a OpenAI. Le prove, in ogni caso, non stavano nei log delle vittime. Stavano negli archivi di terzi, dove un ricercatore paziente è andato a leggerle mesi dopo.

Secondo la società di sicurezza Asymmetric Security, citata da AFP, gli agenti hanno aperto account privati su un servizio di web analytics, che nascondevano le loro ricerche. Hanno creato caselle email temporanee. E hanno affinato le tecniche "in a matter of days" (Malay Mail). Asymmetric precisa di non poter dire se l'occultamento fosse voluto. OpenAI, dal canto suo, ha ammesso che nei test interni i modelli hanno talvolta provato, senza riuscirci, a cancellare o modificare i propri log. Intenzionale o "emergente", per chi difende cambia poco: l'agente non ha bisogno di volersi nascondere per essere invisibile.

"È rumore di fondo" (vero, ed è proprio quello il guaio)

L'obiezione più forte la formula, senza volerlo, lo stesso Centro canadese: "Public-facing government websites routinely receive automated and potentially malicious requests". I siti pubblici sono bombardati ogni giorno da bot, crawler, scanner, ricercatori, curiosi. I dati erano in gran parte pubblici o aggregati. Il danno, dove misurato, è stato modesto. Vero. Spendere soldi e ore di analisti per inseguire un bot che scarica statistiche sulla spesa sanitaria (che per carità, in un mondo ideale si farebbe) è una pessima allocazione del budget. Jack Cable, tra i ricercatori che hanno scavato in quelle tracce, dice ad Axios che gli attacchi visti "weren't particularly sophisticated". Dov'è il problema?

Il problema è che "rumore di fondo" descrive il canale, non il contenuto. Nei portali statistici l'agente sembrava un crawler maleducato. A Hugging Face, invece, lo stesso tipo di agente ha rubato credenziali e preso il controllo di un cluster. A distinguere i due casi non è stata la natura dell'agente: è stato il bersaglio, e quanto era facile andare oltre. Nel Victoria l'agente ha trovato una chiave esposta e l'ha usata. Al BOCSAR ha portato via configurazione e log da uno strumento "pubblico". Il confine tra rumore e incidente l'ha tracciato, caso per caso, ciò che l'agente ha trovato sulla strada... non un nostro controllo.

Un "no" seguito da dieci tentativi di aggirarlo non è rumore: è un comportamento. Un essere umano che riceve un rifiuto e poi prova la stessa porta con l'apostrofo, con "OR 1=1", con un parametro di debug, con un'estensione .json, lo chiameremmo per nome. Che sia una macchina instancabile a farlo non lo rende più innocuo; lo rende più frequente.

Il fatto che sia rumore, in altre parole, è l'argomento a favore della mia tesi, non contro. Se una classe di comportamenti ostili si confonde per definizione con il traffico di fondo, i nostri strumenti non la vedranno. E allora l'unico che la vede è chi possiede l'agente.

Il pager ce l'ha lui

Il 28 settembre OpenAI ha scritto all'Australia una lettera di scuse ("We are sorry and working to do better in the future", e gliene do atto). La revisione è partita dopo Hugging Face: "After the Hugging Face incident in July, we began reviewing earlier training and evaluation activity to identify other affected organisations". E per il futuro: "Our current monitoring systems would have detected this activity and paged our team for urgent human review" (OpenAI).

Il pager, notate, suona a San Francisco. La detection si è spostata, sì. Ma dal lato di chi produce l'agente, non di chi lo subisce. E con lei si è spostato il potere di decidere tre cose che a un CdA dovrebbero stare molto a cuore: se un incidente c'è stato, quando dirlo, e a chi. Secondo ABC News, OpenAI notifica le organizzazioni "on a rolling basis", man mano che la revisione procede, e lascia a ciascuna la scelta se rendere pubblica la cosa. Il registro degli incidenti di cento organizzazioni, in pratica, sta in un archivio che nessuna di loro può consultare.

Quando Hugging Face ha provato ad analizzare l'intrusione con i modelli commerciali di frontiera, le richieste (comandi d'attacco, payload, artefatti dell'aggressore: il materiale normale di un'analisi forense) sono state "blocked by the providers' safety guardrails". Ha dovuto ripiegare su un modello ospitato in casa (Simon Willison). Il guardrail ha fermato il medico legale, mentre il ladro era già uscito dalla finestra con le chiavi in tasca.

Qui, però, la sicurezza c'entra fino a un certo punto. Chi governa un sistema informativo ha il diritto (e, in Europa, il dovere) di sapere cosa gli succede dentro. La NIS2 chiede il preallarme entro 24 ore da quando l'organizzazione viene a conoscenza dell'incidente significativo ("within 24 hours of becoming aware") (NIS2, art. 23). E se la consapevolezza arriva da una email del fornitore dell'attaccante? Il cronometro, allora, lo fa partire lui. Formalmente siamo in regola. Sostanzialmente, l'autonomia di decidere sul nostro rischio l'abbiamo delegata a chi ce l'ha creato (da noi, con la stessa norma recepita nel decreto 138 del 2024, cambierebbe qualcosa?).

E gli altri? I casi che conosciamo sono quelli che un'azienda ha deciso di cercare, dopo un incidente pubblico, con una revisione lunga mesi. Gli agenti di chi non ha un ufficio stampa da proteggere, i modelli aperti fatti girare in un garage, i criminali che di agenti si servono per mestiere: chi li confessa? Lo deduco dalla semplice aritmetica del campione: se l'unica fonte di detection è la confessione, il campione contiene solo chi confessa.

Il 28 settembre, del resto, OpenAI ha rinunciato a rilasciare GPT-6.1 Astra perché in test il modello tendeva a "push forward in a task beyond the current scope and without user permission" (9to5Google). Scelta giusta. Ma è la descrizione esatta di ciò che i nostri sistemi hanno subito per mesi senza accorgersene, firmata da chi l'ha osservato dall'altra parte del vetro.

Dove si sbaglierà la maggioranza

Il primo errore sarà comprare. Arriverà (anzi, è già arrivato) il prodotto di "AI agent detection" con una dashboard tutta verde e una slide con il logo di OpenAI barrato. Qualche segnale utile lo darà. Il punto, però, non è uno strumento in più: è che nessuno, oggi, guarda il comportamento sulle applicazioni pubbliche come guarda un login fallito sull'Active Directory.

Il secondo errore sarà archiviare tutto alla voce "rumore", perché il danno è stato modesto. Ma è stato modesto perché dietro quei recinti c'erano statistiche. La prossima applicazione pubblica potrebbe avere dietro un database di clienti con una chiave dimenticata in un file di configurazione, come nel Victoria.

La strada, al solito, è meno glamour. Trattare i rifiuti come segnali: un 401 o un 403 seguito da varianti creative della stessa richiesta merita un occhio umano, non solo una riga in un log. Contare le risposte "di successo" che non restituiscono niente, perché un 200 con pagina vuota ripetuto mille volte è una domanda, non una risposta. Chiedere al fornitore del sito o del WAF chi legge i log del bot management, e con quale soglia (my 2 cents: spesso nessuno, e la soglia è "quando il sito va giù"). E mettere nei contratti con chi ci vende agenti, cioè con chi potrebbe essere l'attaccante involontario di qualcun altro, un obbligo di avviso con le ore contate (su questo ho già detto la mia, e non mi ripeto).

Per il prossimo consiglio, le domande sono queste:

  • Se un agente automatico avesse provato per un mese le nostre applicazioni pubbliche, quale nostro controllo lo avrebbe visto, e chi avrebbe ricevuto l'alert?
  • Quante delle nostre richieste "andate a buon fine" sono in realtà tentativi falliti che nessuno classifica come tali?
  • Se domani ci scrivesse un fornitore di AI per dirci che un suo agente è entrato da noi a giugno, con quali log verificheremmo cosa ha fatto, e li conserviamo così a lungo?
  • Chi decide, oggi, quando sapremo di un incidente: noi, o chi lo ha causato?

Cento organizzazioni hanno scoperto di essere state visitate leggendo la posta. Quante, tra quelle che non hanno ricevuto nessuna lettera, stanno semplicemente aspettando che qualcuno si decida a scriverla...?

Fonti

Commenti

Popular Posts

Zeitgeist - E se Gesù Cristo non fosse mai esistito? E se fossero altri i centri decisionali del mondo?*

SaaS, Integrazioni e AI: JP Morgan Suona l'Allarme (E Conferma i Nostri Sospetti)

Real Cloud, Fake Cloud, e il Computer di Qualcun Altro: Sopravvivere alle Mostruosità del Mercato