Supervisione umana dei sistemi di AI

La garanzia umana non si decreta.
Si progetta.

La vostra organizzazione usa l'AI in decisioni che riguardano persone: assumere, concedere un credito, supportare la presa in carico di un paziente, gestire una pratica. Progetto il controllo umano che la inquadra e vi consegno una relazione chiara, che i vostri team operativi, legali e tecnici possono mettere in pratica.

Fissare un colloquio Scopri il metodo
Carolina Ciravegna
Carolina Ciravegna Consulente in supervisione umana dei sistemi di AI, Parigi

In parole semplici

La vostra organizzazione usa l'AI per analizzare, selezionare, valutare, raccomandare o redigere. Io verifico tre cose.

Chi controlla?

Chi rilegge i risultati dell'AI, con quale competenza, e chi ha il potere di correggerli o di fermare lo strumento.

In quale momento?

Prima che il risultato raggiunga una persona: un candidato, un cliente, un paziente, un utente.

Con quale prova?

Una traccia scritta di ogni controllo, per poter dimostrare, quando servirà, che la decisione è rimasta umana.

Poi vi dico, concretamente, che cosa cambiare.

Il problema

Il rischio non sta solo nell'errore della macchina. Sta nella fiducia che le si accorda.

Quando un sistema di AI entra in un processo decisionale, la persona non scompare: cambia ruolo. Non produce più il risultato, lo convalida. Questo spostamento richiede un'organizzazione esplicita, che raramente viene progettata nel momento in cui lo strumento viene acquistato.

Il bias di automazione

Davanti a un suggerimento algoritmico, l'esperto tende ad adeguarvisi, anche quando è errato. Il fenomeno è documentato dall'aviazione alla diagnostica per immagini, e colpisce anche i professionisti più esperti.6-8

L'errore plausibile

Un modello generativo può produrre un'informazione falsa, o persino una fonte inventata, con la stessa sicurezza di un'informazione esatta. Fuori dal suo ambito di affidabilità, l'AI può peggiorare il lavoro di professionisti qualificati senza che se ne accorgano.9

La deriva fuori contesto

Un modello validato altrove può perdere prestazioni su un'altra popolazione o con altre pratiche, e riprodurre i bias presenti nei dati di origine.10,11

Il quadro

Un quadro che si sta definendo.

La garanzia umana è stata sancita in Francia dalla legge di bioetica del 2021. Il regolamento europeo sull'AI ne fa un requisito di portata generale per i sistemi ad alto rischio: il controllo umano deve essere affidato a persone dotate della competenza, della formazione e dell'autorità necessarie, e deve poter essere dimostrato. Gli standard internazionali di gestione del rischio dell'AI vanno nella stessa direzione.1,3-5

  1. 2021Legge francese di bioetica: la garanzia umana entra nel diritto francese, a partire dall'ambito sanitario (art. L.4001-3 del Codice della sanità pubblica).3
  2. 2024Adozione dell'AI Act: l'articolo 14 fa del controllo umano un requisito di progettazione dei sistemi ad alto rischio.1
  3. 2025Da febbraio, obbligo di alfabetizzazione all'AI per ogni organizzazione che la utilizza in ambito professionale (art. 4 dell'AI Act).1
  4. 2026Il Digital Omnibus riformula l'articolo 4 e rinvia gli obblighi applicabili ai sistemi ad alto rischio.2
  5. Dic. 2027Si applicano gli obblighi relativi ai sistemi ad alto rischio dell'allegato III (lavoro, credito, assicurazioni, istruzione, servizi essenziali), compresi quelli degli utilizzatori (art. 26).1,2
  6. Ago. 2028Si applicano ai sistemi di AI integrati in prodotti già soggetti a una normativa europea di sicurezza, tra cui i dispositivi medici.2

Il calendario lascia tempo. Non lascia margine.

Un dispositivo di controllo umano si progetta, si mette alla prova e si documenta prima di poter essere dimostrato.

Cosa faccio

Osservo come l'AI viene realmente utilizzata, poi progetto il controllo che la inquadra.

  1. Mappatura degli usi

    Strumenti, decisioni coinvolte, dati utilizzati, attori, e momento esatto in cui la persona interviene, o non interviene.

  2. Analisi dei rischi d'uso

    Bias di automazione, errori plausibili, deriva delle prestazioni, decisioni prese senza convalida.

  3. Progettazione del controllo umano

    Chi supervisiona, con quale competenza e quale autorità. Soglie di allerta e di escalation. Diritto di arresto del sistema.

  4. Relazione documentata

    Rilievi, prove e raccomandazioni, utilizzabili dalle direzioni operative, legali e tecniche che poi attuano le correzioni.

Cosa ricevete

  • Una mappa degli usi dell'AI nella vostra organizzazione.
  • Una griglia di criticità adattata al vostro contesto.
  • Una matrice dei ruoli: chi supervisiona, chi convalida, chi può fermare.
  • Un protocollo di verifica e di tracciabilità.
  • Una relazione con priorità chiare, pronta da trasmettere ai vostri team.
Il mio ruolo

Il giudizio professionale resta quello dei vostri esperti. Il mio lavoro riguarda il dispositivo che lo circonda: chi verifica cosa, in quale momento, con quale traccia.

Casi di studio

Quando manca il controllo umano: quattro casi documentati.

Questi casi sono pubblici e documentati. Non riguardano clienti di AncreIA: mostrano, in settori diversi, dove il controllo umano è mancato e che cosa un dispositivo progettato a monte avrebbe permesso di individuare prima.

Risorse umane

Uno strumento di selezione dei CV che aveva imparato a scartare le donne

I fatti
Dal 2014 Amazon ha sviluppato uno strumento sperimentale che dava ai candidati da una a cinque stelle. Addestrato su dieci anni di assunzioni in prevalenza maschili, penalizzava i CV che contenevano la parola «women's» e declassava le laureate di due college femminili. L'azienda ha finito per abbandonarlo.12
Il punto di rottura
Il bias veniva dai dati storici. Nessuna griglia definiva in anticipo che cosa fosse un errore grave per uno strumento di selezione.
Cosa prevede il metodo AncreIA
Una griglia di criticità in cui la discriminazione è per definizione un errore grave, test comparativi su profili equivalenti prima della messa in servizio, e un monitoraggio regolare delle differenze di esito tra gruppi.

Servizi pubblici

Un algoritmo antifrode che ha preso di mira migliaia di famiglie

I fatti
Nei Paesi Bassi, dal 2013 l'amministrazione fiscale ha usato un sistema di profilazione del rischio per individuare frodi sui sussidi per l'assistenza all'infanzia. La nazionalità era tra i fattori di rischio. Migliaia di famiglie sono state accusate ingiustamente e nel gennaio 2021 il governo si è dimesso.13
Il punto di rottura
Le segnalazioni del sistema hanno pesato molto sulle decisioni, senza un controllo sufficiente dei loro effetti discriminatori.
Cosa prevede il metodo AncreIA
Una lettura per profili delle persone coinvolte, l'esclusione di criteri sensibili come la nazionalità, e un diritto di arresto chiaramente attribuito non appena i risultati divergono.

Sanità

Un'allerta per la sepsi meno affidabile del previsto

I fatti
Un modello proprietario di rilevazione della sepsi, adottato in centinaia di ospedali americani, è stato valutato in modo indipendente nel 2021. Mancava circa due terzi dei casi di sepsi, generando nel frattempo numerose allerte.10
Il punto di rottura
Il modello era stato ampiamente adottato senza una validazione indipendente sui pazienti e sulle pratiche di ogni struttura.
Cosa prevede il metodo AncreIA
Una validazione locale prima dell'adozione, un monitoraggio delle prestazioni nel tempo, e soglie di allerta calibrate per evitare l'affaticamento dei team.

Ambito legale

Sentenze inventate nell'atto di alcuni avvocati

I fatti
Nel 2023, a New York, alcuni avvocati hanno depositato davanti a un tribunale federale un atto che citava sentenze inesistenti, generate da ChatGPT. Il giudice li ha sanzionati.14
Il punto di rottura
Il testo prodotto dall'AI è stato usato così com'era. Nessun passaggio prevedeva di verificare le fonti prima del deposito.
Cosa prevede il metodo AncreIA
Un controllo obbligatorio dell'output prima di qualsiasi uso esterno: ogni riferimento verificato alla fonte, e una traccia scritta di chi ha verificato cosa.

Il metodo AncreIA

Una delega progressiva e reversibile, sotto controllo umano.

L'AI si fa carico di ciò che svolge in modo affidabile, per gradi, e ogni passaggio resta reversibile. Il controllo non è mai totale: è stratificato e collocato dove l'errore ha le conseguenze più gravi. Il dispositivo si adatta a ogni contesto; non esiste un modello universale.

  1. Griglia di criticitàDefinire, con i vostri esperti, che cosa costituisce un errore grave nel vostro contesto.
  2. Rilevazione automaticaIndividuare le anomalie su larga scala, senza rilettura integrale.
  3. Prioritizzazione dell'attenzioneStabilire che cosa deve essere visto per primo da una persona.
  4. Lettura per profiliEsaminare i risultati dal punto di vista di ogni persona coinvolta, comprese quelle che subiscono la decisione.
  5. Decisione di rimedioStabilire che cosa correggere, da parte di chi e in quale ordine.
  6. Controllo dell'outputVerificare che cosa esce realmente dal sistema prima che raggiunga una persona.
Verifica stratificata

Non un controllo totale: livelli, collocati in base al rischio.

L'AI che verifica l'AI

Con una reale indipendenza tra il sistema e il suo controllo.

La variabilità come segnale

Quando le risposte cambiano per una stessa domanda, è in gioco l'affidabilità.

Una traccia scritta

Ogni decisione documentata, pronta per un audit.

Per chi

Per le organizzazioni che usano l'AI, non per quelle che la costruiscono.

Sanità e sociosanitario

Strutture, diagnostica per immagini, laboratori, enti di assistenza.

Risorse umane

Selezione, valutazione, gestione dei percorsi professionali.

Banca e assicurazioni

Concessione del credito, valutazione del rischio, tariffazione.

Servizi pubblici ed essenziali

Accesso a prestazioni, sussidi e diritti.

Società di consulenza e integratori

I vostri clienti adottano l'AI e vi chiedono come garantirne il controllo. Intervengo al vostro fianco, come competenza complementare sulla supervisione umana.

Chi sono

Carolina Ciravegna

Consulente in supervisione umana dei sistemi di AI

Un'àncora non impedisce alla nave di avanzare. Le impedisce di andare alla deriva.

Da diversi anni mi occupo di intelligenza artificiale e del modo in cui rappresenta le persone e le organizzazioni. Questo lavoro mi ha insegnato a leggere ciò che un'AI produce, a riconoscerne gli errori plausibili e a progettare metodi per verificarne i risultati.

AncreIA nasce da qui: aiutare le organizzazioni a mantenere la decisione nelle mani delle persone.

Italiana, vivo a Parigi. Lavoro in francese, italiano e inglese.

L'AI può andare veloce e lontano, a patto che qualcuno sappia sempre dove si trova.

Riferimenti

Fonti normative, istituzionali e scientifiche citate in questa pagina.

  1. Regolamento (UE) 2024/1689 del Parlamento europeo e del Consiglio del 13 giugno 2024 che stabilisce regole armonizzate sull'intelligenza artificiale (AI Act), artt. 4, 14 e 26. EUR-Lex
  2. Regolamento (UE) 2026/1744 (Digital Omnibus sull'AI), pubblicato nella GUUE il 24 luglio 2026, in vigore dal 27 luglio 2026.
  3. Legge francese n. 2021-1017 del 2 agosto 2021 sulla bioetica, art. 17; Codice della sanità pubblica francese, art. L.4001-3.
  4. National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1; 2023. doi:10.6028/NIST.AI.100-1
  5. ISO/IEC 42001:2023. Information technology - Artificial intelligence - Management system. ISO
  6. Parasuraman R, Manzey DH. Complacency and bias in human use of automation: an attentional integration. Hum Factors. 2010;52(3):381-410. doi:10.1177/0018720810376055
  7. Goddard K, Roudsari A, Wyatt JC. Automation bias: a systematic review of frequency, effect mediators, and mitigators. J Am Med Inform Assoc. 2012;19(1):121-7. doi:10.1136/amiajnl-2011-000089
  8. Dratsch T, et al. Automation bias in mammography: the impact of artificial intelligence BI-RADS suggestions on reader performance. Radiology. 2023;307(4):e222176. doi:10.1148/radiol.222176
  9. Dell'Acqua F, et al. Navigating the jagged technological frontier: field experimental evidence of the effects of AI on knowledge worker productivity and quality. Harvard Business School Working Paper 24-013; 2023. doi:10.2139/ssrn.4573321
  10. Wong A, et al. External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Intern Med. 2021;181(8):1065-70. doi:10.1001/jamainternmed.2021.2626
  11. Obermeyer Z, Powers B, Vogeli C, Mullainathan S. Dissecting racial bias in an algorithm used to manage the health of populations. Science. 2019;366(6464):447-53. doi:10.1126/science.aax2342
  12. Dastin J. Amazon scraps secret AI recruiting tool that showed bias against women. Reuters; 10 Oct 2018. Reuters
  13. Amnesty International. Xenophobic machines: discrimination through unregulated use of algorithms in the Dutch childcare benefits scandal. 2021. Amnesty
  14. Mata v. Avianca, Inc., No. 22-cv-1461 (PKC), S.D.N.Y.; 22 Jun 2023.