Audit des cas d'usage et de la gouvernance IA (LLMOps)
Un état des lieux traçable, présentable à la direction, à l'audit interne, au délégué à la protection des données ou à l'ACPR (Autorité de contrôle prudentiel et de résolution).
En bref
- Résultat
- Un état des lieux traçable, présentable à la direction, à l'audit interne, au délégué à la protection des données ou à l'ACPR.
- Idéal pour
- Directeur des risques, responsable conformité, délégué à la protection des données (DPO) ou auditeur interne bancaire d'un établissement qui exploite déjà des modèles ou des assistants IA.
- Ce que vous obtenez
- Rapport d'audit avec inventaire des systèmes, classification argumentée, écarts par criticité et plan d'actions.
- Prérequis de votre côté
- Liste des cas d'usage connus, documentation des modèles et des jeux de données, accès aux responsables métier, données et risques pour des entretiens.
- Durée et charge
- 6 à 12 jours
- Format
- Forfait
Exemple de situation
Inventorier les usages IA d'une banque de réseau. Une banque de réseau découvre que plusieurs services utilisent des assistants sans avoir été recensés. L'audit sur le thème LLMOps établit un inventaire de vingt et un usages, classe chacun et signale quatre traitements de données à documenter avant la revue du délégué à la protection des données.
Nous auditons, sous l'angle du thème LLMOps, les cas d'usage d'intelligence artificielle de votre établissement : inventaire des systèmes (modèles internes, services de fournisseurs, assistants), finalité, données utilisées et base légale, documentation, validation, contrôle humain, journalisation et tests. Chaque cas est situé au regard du règlement (UE) 2024/1689 et des exigences du RGPD (règlement général sur la protection des données), puis suivi de bout en bout sur un exemple concret.
Le rapport classe les écarts par criticité, relie chacun à l'exigence qui le fonde (règlement sur l'IA, RGPD, politique de risque de modèle, externalisation, DORA) et propose un plan d'actions hiérarchisé. Il est rédigé pour être présenté à votre direction, à l'audit interne ou à l'ACPR. Il ne vaut pas avis de conformité : cette appréciation reste celle de votre établissement. L'objectif de structurer vos pratiques sur ce thème structure la restitution.
Déroulé de la prestation
Cadrage
Nous fixons avec vous le périmètre, le référentiel applicable et les interlocuteurs, et nous convenons des règles de confidentialité, d'accès aux sites et aux données.
Lecture documentaire
Nous lisons les procédures, enregistrements et comptes rendus relatifs au thème LLMOps, avant toute rencontre, pour arriver sur le terrain avec des questions précises.
Entretiens et observation
Nous rencontrons les responsables et les équipes, et nous observons les pratiques sur le terrain lorsque l'accès est possible.
Analyse des écarts
Chaque constat est rattaché à une exigence identifiée, classé par gravité et par urgence, et associé à une action corrective, un responsable et un délai.
Restitution
Nous présentons le rapport à votre direction, répondons aux objections et, si vous le souhaitez, préparons avec vous le plan d'actions.
Livrables, format et conditions
Au terme de la prestation, vous disposez des éléments suivants, rédigés pour être présentés à votre direction, à votre donneur d'ordre ou à l'autorité.
- Inventaire des systèmes d'IA avec finalité, données, fournisseur et classification argumentée
- Rapport d'écarts classés par criticité, avec exigence de référence pour chacun
- Plan d'actions hiérarchisé, présentable à la direction et à l'audit interne
Format et charge : forfait, 6 à 12 jours. Idéal pour : directeur des risques, responsable conformité, délégué à la protection des données (DPO) ou auditeur interne bancaire d'un établissement qui exploite déjà des modèles ou des assistants IA. Prérequis de votre côté : liste des cas d'usage connus, documentation des modèles et des jeux de données, accès aux responsables métier, données et risques pour des entretiens.
Exemples d'usage
Deux situations d'exemple, dans lesquelles cette prestation a du sens. Ce sont des exemples construits à partir de situations courantes du secteur, pas des références clients ; les chiffres sont indicatifs et dépendent du site et du périmètre.
Inventorier les usages IA d'une banque de réseau
Une banque de réseau découvre que plusieurs services utilisent des assistants sans avoir été recensés. L'audit sur le thème LLMOps établit un inventaire de vingt et un usages, classe chacun et signale quatre traitements de données à documenter avant la revue du délégué à la protection des données.
Revoir la validation d'un modèle de scoring
Un établissement de crédit spécialisé fait relire la documentation d'un modèle d'évaluation de la solvabilité sur le thème LLMOps. L'audit compare les pratiques de validation aux exigences applicables et propose un plan d'actions pour la journalisation et le contrôle humain.
Questions fréquentes sur cette prestation
Combien de temps dure l'audit et qui le réalise ?
La charge indicative est de 6 à 12 jours, format forfait, répartie entre la lecture documentaire, les entretiens, l'observation sur site et la rédaction. L'auditeur est un praticien du thème LLMOps dans le secteur bancaire ou financier, indépendant de vos équipes, qui signe les engagements de confidentialité demandés et respecte le secret bancaire. Nous fixons le calendrier avec vous pour que la restitution précède votre échéance, mission de l'audit interne, contrôle d'une autorité ou audit de certification, d'au moins quelques semaines, afin de laisser le temps de traiter les écarts les plus importants.
Quelle différence avec une formation sur ce thème ?
La formation transmet des compétences ; l'audit vous dit où vous en êtes. Sur le thème LLMOps, l'audit produit un rapport étayé, avec des constats rattachés à des exigences identifiées et un plan d'actions chiffré, présentable à votre audit interne ou à votre donneur d'ordre. Il met souvent en évidence des besoins de formation, que nous pouvons ensuite couvrir, mais il ne remplace pas la formation, et inversement. Il ne remplace pas non plus le contrôle d'une autorité ou l'audit d'un organisme de certification, que nous ne réalisons pas. Les deux prestations se combinent dans un même plan lorsque l'échéance le justifie.
Accédez-vous aux données de nos clients ou à nos modèles en production ?
Pas par défaut. Une mission de conseil, de conception ou de formation sur le thème LLMOps n'a pas besoin de données nominatives : nous travaillons sur des jeux anonymisés, synthétiques ou limités au strict nécessaire, dans votre environnement et non dans le nôtre. Un accès plus large suppose un cadre contractuel, une clause de confidentialité, des droits d'accès nominatifs et limités, et l'accord de votre établissement, qui reste tenu par le secret bancaire. Nous ne copions aucune donnée de client hors de votre système d'information. Le devis précise le périmètre, les environnements concernés et les accès demandés.
Demander un devis
Indiquez le site, les équipes concernées et l'échéance : nous vous répondons sous 48 h ouvrées, puis nous établissons le devis après un échange de cadrage.
Les autres types de prestation sur le thème LLMOps
