Pourquoi le crédit est un cas d'école de l'audit IA
L'Annexe III de l'EU AI Act classe explicitement les systèmes d'évaluation de la solvabilité et de notation de crédit parmi les usages à haut risque, aux côtés du recrutement et de la justice prédictive. Ce n'est pas un hasard : un score de crédit conditionne l'accès au logement, à l'entreprise, à la stabilité financière — et l'algorithme qui le calcule est, par nature, opaque à la personne qu'il évalue.
Contrairement à un chatbot ou à un agent outillé, un système de scoring ne « parle » pas : il classe. L'attaque n'est pas une injection de prompt, c'est un biais structurel qui produit un résultat discriminatoire sans qu'aucune ligne de code ne mentionne jamais une catégorie protégée. C'est ce qui rend l'audit à la fois indispensable et technique.
Un modèle de scoring n'a presque jamais accès à l'origine, au genre ou à l'âge de la personne évaluée — ces variables sont généralement exclues par construction. Le problème est ailleurs : le code postal, l'historique d'emploi, le type de compte bancaire ou même la marque du téléphone utilisé pour la demande peuvent servir de proxy statistique à une catégorie protégée. Le modèle discrimine sans jamais « savoir » qu'il discrimine.
Ce qu'un audit doit tester
- Parité statistiqueLe taux d'approbation est-il comparable entre groupes, à mérite de crédit égal ? Un écart brut n'est pas une preuve de biais, mais un signal à creuser.
- Égalité des chances (equalized odds)Parmi les personnes qui auraient effectivement remboursé, le taux de refus est-il le même selon le groupe ? C'est souvent plus révélateur que la parité brute.
- Détection de proxysIdentifier les variables corrélées à une catégorie protégée, même en l'absence de cette catégorie dans les données d'entrée. Le code postal est le proxy le plus documenté, mais rarement le seul.
- Tests contrefactuelsFaire varier une seule caractéristique sensible (ou son proxy le plus probable) toutes choses égales par ailleurs, et observer si la décision change. Une méthode directement empruntée au red teaming.
- Explicabilité de la décision individuelleLa personne refusée peut-elle obtenir les facteurs réels de son refus ? L'EU AI Act et, aux États-Unis, l'Equal Credit Opportunity Act (ECOA) l'exigent déjà sous des formes différentes.
- Dérive dans le tempsUn modèle non biaisé au déploiement peut le devenir après réentraînement sur des données qui reflètent ses propres décisions passées — une boucle de rétroaction que l'audit ponctuel ne voit pas, mais que le monitoring continu peut détecter.
Méthode : du red teaming à l'audit de biais
Auditer un scoring de crédit combine deux approches déjà documentées séparément sur ce site : la distinction entre besoins et sécurité propre à tout audit IA, et la logique de recherche active de l'échec propre au red teaming.
| Étape | Ce qu'on fait |
|---|---|
| Cartographie des variables | Lister toutes les variables d'entrée du modèle et identifier celles susceptibles de servir de proxy à une catégorie protégée. |
| Constitution d'un jeu de test contrôlé | Construire des profils synthétiques identiques en tout point sauf la variable sensible testée. |
| Mesure des écarts | Calculer les métriques de parité et d'égalité des chances sur le jeu de test et sur un échantillon représentatif réel si disponible. |
| Investigation des écarts significatifs | Pour chaque écart notable, remonter aux variables qui l'expliquent statistiquement. |
| Rapport et remédiation | Documenter les biais trouvés, leur ampleur, et les pistes de correction (retrait de variable, repondération, seuils différenciés encadrés légalement). |
Cadre réglementaire : trois régimes qui se répondent
- Union européenne — EU AI ActAnnexe III : la notation de crédit est un système à haut risque. Obligations de gestion des risques, de qualité des données, de documentation technique et de contrôle humain avant déploiement.
- États-Unis — ECOA & FCRAL'Equal Credit Opportunity Act interdit la discrimination sur des motifs protégés ; le Fair Credit Reporting Act impose la transparence sur les facteurs utilisés. Le régulateur historique, le CFPB, a explicitement averti que l'usage d'un modèle « boîte noire » ne dispense pas de justifier un refus.
- Royaume-Uni — Consumer Duty (FCA)Post-Brexit, le Royaume-Uni a choisi une régulation plus légère fondée sur un principe de résultat (« bon résultat pour le consommateur ») plutôt que sur des règles techniques prescriptives — une divergence réglementaire qui complique l'audit d'un modèle déployé des deux côtés de la Manche.
L'angle mort n'est pas nouveau : de l'opacité humaine à l'opacité algorithmique
Le scoring de crédit automatisé pose aujourd'hui, sous une forme algorithmique, une question que la régulation financière américaine affronte depuis la crise des subprimes de 2008 : qui vérifie que la notation d'un emprunteur est loyale ? Main Street Brigade documente cette continuité — de l'opacité humaine des pratiques de crédit d'avant 2010 à l'opacité algorithmique d'aujourd'hui — avec un comparatif des régimes UE, UK et US sur les décisions financières automatisées.
Cet héritage documentaire remonte à la mobilisation qui a conduit à la création du Consumer Financial Protection Bureau (CFPB) sous l'impulsion d'Elizabeth Warren :