Supervision humaine des systèmes d'IA

La garantie humaine ne se décrète pas.
Elle se conçoit.

Votre organisation utilise l'IA dans des décisions qui concernent des personnes : recruter, accorder un crédit, accompagner la prise en charge d'un patient, traiter un dossier. Je conçois le contrôle humain qui l'encadre et je vous remets un rapport clair, que vos équipes métier, juridiques et techniques peuvent mettre en œuvre.

Carolina Ciravegna
Carolina Ciravegna Consultante en supervision humaine des systèmes d'IA, Paris

En clair

Votre organisation utilise l'IA pour analyser, trier, évaluer, recommander ou rédiger. Je vérifie trois choses.

Qui contrôle ?

Qui relit les résultats de l'IA, avec quelle compétence, et qui a le pouvoir de les corriger ou d'arrêter l'outil.

À quel moment ?

Avant que le résultat n'atteigne une personne : un candidat, un client, un patient, un usager.

Avec quelle preuve ?

Une trace écrite de chaque contrôle, pour pouvoir démontrer, le jour venu, que la décision est restée humaine.

Puis je vous dis, concrètement, ce qu'il faut changer.

Le problème

Le risque ne tient pas seulement à l'erreur de la machine. Il tient à la confiance qu'on lui accorde.

Quand un système d'IA entre dans un processus de décision, la personne ne disparaît pas : elle change de rôle. Elle ne produit plus le résultat, elle le valide. Ce déplacement demande une organisation explicite, rarement conçue au moment où l'outil est acquis.

Le biais d'automatisation

Face à une suggestion algorithmique, l'expert tend à s'y conformer, y compris lorsqu'elle est erronée. Le phénomène est documenté de l'aviation à l'imagerie médicale, et touche aussi les professionnels les plus expérimentés.6-8

L'erreur plausible

Un modèle génératif peut produire une information fausse, voire une source inventée, avec la même assurance qu'une information exacte. Hors de son domaine de fiabilité, l'IA peut dégrader le travail de professionnels qualifiés sans qu'ils s'en aperçoivent.9

La dérive hors contexte

Un modèle validé ailleurs peut perdre en performance sur une autre population ou avec d'autres pratiques, et reproduire les biais présents dans ses données d'origine.10,11

Le cadre

Un cadre qui se précise.

La garantie humaine a été consacrée en France par la loi de bioéthique de 2021. Le règlement européen sur l'IA en fait une exigence de portée générale pour les systèmes à haut risque : le contrôle humain doit être confié à des personnes disposant de la compétence, de la formation et de l'autorité nécessaires, et pouvoir être démontré. Les référentiels internationaux de gestion des risques de l'IA vont dans le même sens.1,3-5

  1. 2021Loi de bioéthique : la garantie humaine entre dans le droit français, d'abord dans le domaine de la santé (art. L.4001-3 du Code de la santé publique).3
  2. 2024Adoption de l'AI Act : l'article 14 fait du contrôle humain une exigence de conception des systèmes à haut risque.1
  3. 2025Depuis février, obligation de maîtrise de l'IA pour toute organisation qui l'utilise dans un cadre professionnel (art. 4 de l'AI Act).1
  4. 2026Le Digital Omnibus reformule l'article 4 et reporte les obligations applicables aux systèmes à haut risque.2
  5. Déc. 2027Application des obligations relatives aux systèmes à haut risque de l'annexe III (emploi, crédit, assurance, éducation, services essentiels), dont celles des déployeurs (art. 26).1,2
  6. Août 2028Application aux systèmes d'IA intégrés à des produits déjà soumis à une législation européenne de sécurité, dont les dispositifs médicaux.2

Le calendrier laisse du temps. Il ne laisse pas de marge.

Un dispositif de contrôle humain se conçoit, se teste et se documente avant de pouvoir être démontré.

Ce que je fais

J'observe comment l'IA est réellement utilisée, puis je conçois le contrôle qui l'encadre.

  1. Cartographie des usages

    Outils, décisions concernées, données mobilisées, acteurs, et moment exact où l'humain intervient, ou n'intervient pas.

  2. Analyse des risques d'usage

    Biais d'automatisation, erreurs plausibles, dérive des performances, décisions prises sans validation.

  3. Conception du contrôle humain

    Qui supervise, avec quelle compétence et quelle autorité. Seuils d'alerte et d'escalade. Droit d'arrêt du système.

  4. Rapport documenté

    Constats, preuves et recommandations, exploitables par les directions métier, juridiques et techniques qui mettent ensuite en œuvre les corrections.

Ce que vous recevez

  • Une cartographie des usages de l'IA dans votre organisation.
  • Une grille de criticité adaptée à votre contexte.
  • Une matrice des rôles : qui supervise, qui valide, qui peut arrêter.
  • Un protocole de vérification et de traçabilité.
  • Un rapport hiérarchisé, prêt à être transmis à vos équipes.
Mon rôle

Le jugement professionnel reste celui de vos experts. Mon travail porte sur le dispositif qui l'entoure : qui vérifie quoi, à quel moment, avec quelle trace.

Cas d'étude

Quand le contrôle humain manque : quatre cas documentés.

Ces cas sont publics et documentés. Ils ne concernent pas des clients d'AncreIA : ils montrent, dans des secteurs différents, où le contrôle humain a fait défaut, et ce qu'un dispositif conçu en amont aurait permis de repérer plus tôt.

Ressources humaines

Un outil de tri de CV qui avait appris à écarter les femmes

Les faits
Amazon a développé à partir de 2014 un outil expérimental qui notait les candidatures de une à cinq étoiles. Entraîné sur dix ans de recrutements majoritairement masculins, il pénalisait les CV mentionnant le mot « women's » et déclassait les diplômées de deux universités féminines. L'entreprise a fini par l'abandonner.12
Le point de rupture
Le biais venait des données historiques. Aucune grille ne définissait à l'avance ce qu'était une erreur grave pour un outil de recrutement.
Ce que prévoit la méthode AncreIA
Une grille de criticité où la discrimination est une erreur grave par définition, des tests comparatifs sur des profils équivalents avant la mise en service, et un suivi régulier des écarts de résultats entre groupes.

Services publics

Un algorithme anti-fraude qui a ciblé des milliers de familles

Les faits
Aux Pays-Bas, l'administration fiscale a utilisé à partir de 2013 un système de profilage des risques pour détecter les fraudes aux allocations de garde d'enfants. La nationalité figurait parmi les facteurs de risque. Des milliers de familles ont été accusées à tort et le gouvernement a démissionné en janvier 2021.13
Le point de rupture
Les signalements du système ont pesé lourd dans les décisions, sans contrôle suffisant de leurs effets discriminatoires.
Ce que prévoit la méthode AncreIA
Une lecture par profils des personnes touchées, l'exclusion de critères sensibles comme la nationalité, et un droit d'arrêt clairement attribué dès que les résultats divergent.

Santé

Une alerte de sepsis moins fiable que prévu

Les faits
Un modèle propriétaire de détection du sepsis, déployé dans des centaines d'hôpitaux américains, a été évalué de façon indépendante en 2021. Au seuil d'alerte retenu, il ne détectait pas environ deux tiers des cas de sepsis, tout en déclenchant de nombreuses alertes.10
Le point de rupture
Le modèle avait été largement adopté sans validation indépendante sur les patients et les pratiques de chaque établissement.
Ce que prévoit la méthode AncreIA
Une validation locale avant le déploiement, un suivi de la performance dans le temps, et des seuils d'alerte calibrés pour limiter la fatigue d'alerte.

Juridique

Des jurisprudences inventées dans un mémoire d'avocats

Les faits
En 2023, à New York, des avocats ont déposé devant un tribunal fédéral un mémoire citant des décisions de justice qui n'existaient pas, générées par ChatGPT. Le juge les a sanctionnés.14
Le point de rupture
Le texte produit par l'IA a été utilisé tel quel. Aucune étape ne prévoyait de vérifier les sources avant le dépôt.
Ce que prévoit la méthode AncreIA
Un contrôle de la sortie obligatoire avant tout usage externe : chaque référence vérifiée à la source, et une trace écrite de qui a vérifié quoi.

La méthode AncreIA

Une délégation progressive et réversible, sous contrôle humain.

L'IA prend en charge ce qu'elle accomplit de manière fiable, par étapes, et chaque étape reste réversible. Le contrôle n'est jamais total : il est stratifié et placé là où l'erreur a les conséquences les plus graves. Le dispositif s'adapte à chaque contexte ; il n'existe pas de modèle universel.

  1. Grille de criticitéDéfinir, avec vos experts, ce qui constitue une erreur grave dans votre contexte.
  2. Détection automatiséeRepérer les anomalies à grande échelle, sans relecture exhaustive.
  3. Priorisation de l'attentionHiérarchiser ce qui doit être vu en premier par un humain.
  4. Lecture par profilsExaminer les résultats du point de vue de chaque personne concernée, y compris celles qui subissent la décision.
  5. Décision de remédiationArbitrer quoi corriger, par qui et dans quel ordre.
  6. Contrôle de la sortieVérifier ce qui sort réellement du système avant que cela n'atteigne une personne.
Vérification stratifiée

Pas un contrôle total : des niveaux, placés selon le risque.

L'IA qui vérifie l'IA

Avec une réelle indépendance entre le système et son contrôle.

La variabilité comme signal

Quand les réponses varient pour une même question, la fiabilité est en jeu.

Une trace écrite

Chaque décision documentée, prête pour un audit.

Pour qui

Pour les organisations qui utilisent l'IA, pas pour celles qui la construisent.

Santé et médico-social

Établissements, imagerie, biologie, organismes de prise en charge.

Ressources humaines

Recrutement, évaluation, gestion des parcours professionnels.

Banque et assurance

Octroi de crédit, évaluation des risques, tarification.

Services publics et essentiels

Accès aux prestations, aux aides et aux droits.

Cabinets de conseil et intégrateurs

Vos clients déploient l'IA et vous demandent comment en garantir le contrôle. J'interviens à vos côtés, en expertise complémentaire sur la supervision humaine.

À propos

Carolina Ciravegna

Consultante en supervision humaine des systèmes d'IA

Une ancre n'empêche pas le navire d'avancer. Elle l'empêche de dériver.

Je travaille depuis plusieurs années sur l'intelligence artificielle et sur la manière dont elle représente les personnes et les organisations. Ce travail m'a appris à lire ce que produit une IA, à repérer ses erreurs plausibles et à concevoir des méthodes pour vérifier ses résultats.

AncreIA est née de là : aider les organisations à garder la décision entre des mains humaines.

Italienne, installée à Paris. Je travaille en français, en italien et en anglais.

L'IA peut aller vite et loin, à condition que quelqu'un sache toujours où elle se trouve.

Références

Sources réglementaires, institutionnelles et scientifiques citées sur cette page.

  1. Règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l'intelligence artificielle (AI Act), art. 4, 14 et 26. EUR-Lex
  2. Règlement (UE) 2026/1744 (Digital Omnibus sur l'IA), publié au JOUE le 24 juillet 2026, en vigueur depuis le 27 juillet 2026.
  3. Loi n° 2021-1017 du 2 août 2021 relative à la bioéthique, art. 17 ; Code de la santé publique, art. L.4001-3.
  4. National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1; 2023. doi:10.6028/NIST.AI.100-1
  5. ISO/IEC 42001:2023. Information technology - Artificial intelligence - Management system. ISO
  6. Parasuraman R, Manzey DH. Complacency and bias in human use of automation: an attentional integration. Hum Factors. 2010;52(3):381-410. doi:10.1177/0018720810376055
  7. Goddard K, Roudsari A, Wyatt JC. Automation bias: a systematic review of frequency, effect mediators, and mitigators. J Am Med Inform Assoc. 2012;19(1):121-7. doi:10.1136/amiajnl-2011-000089
  8. Dratsch T, et al. Automation bias in mammography: the impact of artificial intelligence BI-RADS suggestions on reader performance. Radiology. 2023;307(4):e222176. doi:10.1148/radiol.222176
  9. Dell'Acqua F, et al. Navigating the jagged technological frontier: field experimental evidence of the effects of AI on knowledge worker productivity and quality. Harvard Business School Working Paper 24-013; 2023. doi:10.2139/ssrn.4573321
  10. Wong A, et al. External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Intern Med. 2021;181(8):1065-70. doi:10.1001/jamainternmed.2021.2626
  11. Obermeyer Z, Powers B, Vogeli C, Mullainathan S. Dissecting racial bias in an algorithm used to manage the health of populations. Science. 2019;366(6464):447-53. doi:10.1126/science.aax2342
  12. Dastin J. Amazon scraps secret AI recruiting tool that showed bias against women. Reuters; 10 Oct 2018. Reuters
  13. Amnesty International. Xenophobic machines: discrimination through unregulated use of algorithms in the Dutch childcare benefits scandal. 2021. Amnesty
  14. Mata v. Avianca, Inc., No. 22-cv-1461 (PKC), S.D.N.Y.; 22 Jun 2023.