Le paysage des référentiels : trois catégories
Les référentiels pour l'IA se divisent en trois mondes : les régulations légales (EU AI Act), les standards techniques (NIST, ISO), et les guides pratiques (industrie). Chacun adresse une facette différente.
EU AI Act
Cadre européen obligatoire. Classes de risque (risque inacceptable, haut risque, faible risque). Obligations documentaires et de conformité.
NIST AI RMF
Framework US de gestion des risques IA. Approche holistique : gouvernance, cartographie, mesure, surveillance.
ISO 42001, ISO 22989
Normes internationales : management de l'IA (42001), vocabulaire et concepts (22989). Audit et certification possibles.
BSI, CISA, ANSSI
Directives nationales ou sectorielles pour l'implémentation. Focus sur la sécurité offensive, les essais en conditions réelles.
EU AI Act : ce qu'il couvre en sécurité
L'EU AI Act (entré en vigueur février 2025) classe les systèmes IA par niveau de risque. Pour la sécurité, il s'applique aux systèmes de « haut risque ».
Obligations pour les systèmes de haut risque
- Évaluation d'impactAnalyser les risques du système avant sa mise en circulation. Couvrir les biais, la sécurité, la confidentialité.
- Documentation techniqueConserver les logs, les versions, les données d'entraînement, la gouvernance. Accessibles aux autorités.
- Monitoring post-commercialisationSurveiller le comportement du système en production. Signaler les dysfonctionnements graves.
- TransparenceInformer les utilisateurs qu'ils interagissent avec une IA (sauf cas exceptionnels).
- Maintien du contrôle humainUn humain doit rester capable d'intervenir, d'arrêter le système, de rendre des comptes sur ses décisions.
L'EU AI Act ne mandate pas explicitement le red teaming ou les tests de sécurité offensive. Il couvre les risques légaux et éthiques, pas les attaques. Il est donc un cadre nécessaire mais non suffisant pour la sécurité.
NIST AI Risk Management Framework (RMF)
Le NIST AI RMF (lancé en octobre 2024) est un cadre volontaire mais très complet, utilisé comme référence industrielle mondiale même hors des USA.
Les quatre étapes du NIST RMF
| Étape | Objectif | En termes de sécurité offensive |
|---|---|---|
| Govern | Mettre en place la gouvernance, les rôles, les responsabilités, la documentation | Définer qui est propriétaire de la sécurité IA, quels sont les critères d'acceptabilité du risque |
| Map | Cartographier les systèmes IA, leurs entrées, sorties, dépendances, données | Identifier les vecteurs d'attaque, les données sensibles, les points de basculement |
| Measure | Mesurer les performances et les risques : précision, biais, sécurité, robustesse | Mesurer la robustesse aux attaques (adversarial robustness), les taux de réussite du red teaming |
| Manage | Mettre en place des contrôles pour atténuer les risques, monitorer en continu | Implémente les correctifs, refond l'architecture du modèle ou de l'application pour réduire la surface d'attaque |
Cas d'usage du NIST pour la sécurité offensive
Le NIST est particulièrement utile parce qu'il couvre explicitement le red teaming et les tests adversariaux. La section « Measure » cite les techniques de perturbation adversariale et les campagnes de simulation d'attaque.
Normes ISO : 42001, 22989, 30113
ISO 42001 : Management des systèmes IA
Standard de management (comme ISO 9001 pour la qualité). Elle couvre : la politique IA, la gouvernance, l'évaluation des risques, la documentation, l'audit. Peut être certifiée (audit externe).
Pour la sécurité offensive : ISO 42001 mandate l'identification et l'évaluation des risques, mais ne prescrit pas précisément le red teaming. Elle crée un cadre où les tests de sécurité trouvent leur place.
ISO 22989 : Concepts et vocabulaire de l'IA
Norme de définitions et de concepts. Établit un langage commun sur ce qu'est une IA, un modèle, une donnée d'entraînement, un biais, etc. Utile pour les contrats et la communication.
ISO 30113 : Gouvernance des données
Complément : gouvernance des datasets utilisés en IA. Traçabilité, qualité, propriété, consentement. Indirectement pertinent pour la sécurité (mauvaises données = vulnérabilités).
Guides pratiques : BSI, CISA, ANSSI
BSI (Bundesamt für Sicherheit in der Informationstechnik, Allemagne)
Directives très détaillées sur la sécurité des systèmes d'IA. Couvre les menaces spécifiques, les tests de robustesse, le red teaming. Plus pertinent que le NIST et l'EU AI Act pour la sécurité offensive.
Focus : Attaques adversariales, poison du modèle, extraction de données, robustesse face aux perturbations.
CISA (Cybersecurity and Infrastructure Security Agency, USA)
Directives sur la sécurité critique des systèmes IA (infrastructure, énergie, etc.). Accent sur les défenses en couches, la détection des anomalies, la continuité.
Focus : Résilience opérationnelle, capacité de basculement, monitore en temps réel.
ANSSI (France)
Recommandations françaises en cours de formalisation. Accent sur la conformité au RGPD, la traçabilité, la gouvernance des données, la sécurité des chaînes d'approvisionnement IA (provenance du code, des datasets).
Focus : Conformité légale, audit de provenance, résilience des fournisseurs.
Comment articuler ces référentiels : une pyramide
Ces cadres ne s'opposent pas ; ils s'empilent en couches.
Base légale : EU AI Act fixe les obligations minimales. Couche de management : ISO 42001 et NIST RMF structurent la gouvernance. Couche technique : NIST Measure et guides sectoriels (BSI, CISA, ANSSI) prescrivent les tests, y compris le red teaming. Sommet : Résultats de l'audit et du red teaming informent l'évolution du système.
Cas concret : système IA de haut risque
Étape 1 : Vérifier la conformité à l'EU AI Act (documentation, monitoring, contrôle humain).
Étape 2 : Appliquer ISO 42001 pour la gouvernance (qui valide ? qui corrige ?).
Étape 3 : Suivre le NIST RMF Measure : mesurer les performances nominales et adversariales.
Étape 4 : Conduire un audit et du red teaming selon BSI ou guides sectoriels.
Étape 5 : Implémenter les correctifs, redocumenter, et boucler.
Ce que les référentiels ne couvrent PAS
- Sécurité offensive préciseLes normes parlent de « robustesse » mais ne prescrivent pas les techniques précises de red teaming à utiliser.
- Niveau de testÀ quel point tester ? Jusqu'où pousser le red teaming ? Les normes restent vagues.
- Compétences et ressourcesLes normes supposent qu'on a les ressources (data scientists, pentesteurs IA). Elles ne financent pas.
- Contexte propriétaireLes systèmes propriétaires (modèles fermés, données internes) ne rentrent souvent pas dans les cadres d'audit standards.
Les référentiels sont un socle nécessaire mais insuffisant. Pour une vraie sécurité, il faut aller au-delà : embarquer des pentesteurs IA, faire du red teaming continu, tester les chaînes d'approvisionnement, et maintenir une culture d'aversité (chercher les failles).
Chronologie : quand les normes arrivent
| Date | Référentiel | Status |
|---|---|---|
| Fév 2025 | EU AI Act (appliqué) | Effectif |
| Oct 2024 | NIST AI RMF v1.0 | Effectif |
| 2024–2025 | ISO 42001 | Finalisé, certifications en cours |
| 2025–2026 | ISO 30113 (évolution) | En discussion |
| Continu | BSI, CISA, ANSSI | Mise à jour régulière |