Aller au contenu
CYBERSÉCURITÉ FINANCIÈRE benchmark IA BPCE

Benchmark IA BPCE : le vrai coût des modèles dans la banque française

BPCE bâtit un benchmark IA interne pour mesurer qualité, coût et robustesse. Une méthode plus pertinente, mais lourde à mettre en œuvre.

Une personne de dos évalue des systèmes sur plusieurs écrans flous dans une salle d’opérations bancaire.
Résumer avec une IA — Obtenez un résumé personnalisé en un clic
En bref

BPCE a créé un benchmark interne pour choisir ses systèmes d’IA selon la qualité, le coût, la latence et la robustesse, plutôt que sur le seul prix du token. Le groupe estime 70 % du code réutilisable ; pour les métiers bancaires, l’outil peut réduire les erreurs critiques, mais son coût humain et l’évaluation future des agents restent des limites.

Un prompt optimisé est pré-rempli pour chaque moteur. Les résultats générés par l'IA peuvent différer du contenu original.

Selon Silicon, BPCE a développé un benchmark interne pour évaluer les modèles d’intelligence artificielle sur ses propres cas d’usage bancaires. Mikaël Le Bars, responsable des expertises transverses IA du groupe, a présenté la démarche au salon Big Data & AI Paris 2026. Le groupe reconnaît un investissement humain important en labellisation, développement et déploiement.

Sortir des classements publics

BPCE veut éviter de financer une nouvelle évaluation à chaque projet sans capitaliser sur les résultats. Le groupe pointe aussi les faiblesses des benchmarks publics. Epoch AI a reconnu que 42 % des problèmes de la première version de FrontierMath comportaient des erreurs. Près de la moitié des 60 benchmarks les plus populaires seraient par ailleurs proches de la saturation (Epoch AI ; Stanford AI Index 2026).

D’autres biais persistent. Certains modèles sont entraînés sur des exercices proches des tests. Les fournisseurs peuvent sélectionner la version qu’ils soumettent. Les jeux de questions restent enfin très occidentalo-centrés : 85 % des références géographiques de MMLU portent sur l’Amérique du Nord ou l’Europe (ACL, 2025).

Des mesures adaptées aux risques bancaires

BPCE a recensé ses projets, y compris les preuves de concept, puis les compétences nécessaires : modération, traduction, détection d’intentions, transcription ou extraction d’entités. Les évaluations combinent des métriques standards et des indicateurs métier. Pour l’audio, le groupe mesure notamment les erreurs portant sur le vocabulaire bancaire.

L’exemple d’un ordre de virement est parlant. Oublier un article dans une transcription et confondre 45 000 euros avec 40 000 euros peuvent produire le même taux d’erreur lexical. Le risque opérationnel n’est pourtant pas comparable. Cette approche offre donc une lecture plus utile qu’un score générique.

Le modèle ne fait pas tout

Sur l’extraction d’informations dans des documents financiers, le choix du modèle ne ferait varier la justesse que de 1 à 4 points. L’OCR pèserait de 14 à 21 points, le découpage et la récupération de 10 à 20 points, et l’embedding de 12 à 17 points (Silicon). Un modèle moins cher au token peut ainsi coûter davantage par requête si le pipeline exige plus de traitements ou de corrections.

Le dispositif trace les versions des modèles, des jeux de données et des prompts. Les résultats sont exportés vers un tableau de bord. Environ 70 % du code serait réutilisable. BPCE affirme aussi tester le coût, la latence, le bruit, les accents et les données inhabituelles.

Un outil pertinent, une conformité à démontrer

Une ouverture du code est seulement envisagée à moyen ou long terme.

Le benchmark peut faciliter la documentation exigée par le règlement européen sur l’IA, notamment pour les systèmes à haut risque. Il ne suffit cependant pas à démontrer la conformité au RGPD, à l’AI Act ou aux exigences de résilience de DORA.

Le prochain test sera celui des agents

BPCE veut désormais ouvrir davantage l’outil aux entités du groupe et, à terme, évaluer les systèmes agentiques. Le défi sera plus complexe : mesurer le résultat final ne suffira pas. Il faudra contrôler chaque action, les outils appelés et les décisions intermédiaires. C’est là que se jouera la capacité du benchmark à dépasser le stade d’un bon outil technique pour devenir un véritable mécanisme de maîtrise des risques.


Correction

Une première version de cet article affirmait que le budget, les scores, les jeux de données et les comparaisons avec d’autres banques n’étaient pas communiqués.

L’article a été corrigé.

Réagir à cet article

Votre adresse email ne sera pas publiée. Restons courtois et factuels.

Ce site utilise Akismet pour réduire les indésirables. Découvrez comment les données de vos commentaires sont traitées.