IA gen responsable, Google est-il vraiment un meilleur élève que Mistral ?

Des chiffres impressionnants, une méthodologie contestée ?

Pris au pied de la lettre, le duel semble plié. Même en élargissant le champ de comparaison, par exemple en regardant la consommation d’eau, on constate que Gemini consomme 0,26 ml d’eau pour une requête, contre 45 ml pour Mistral, soit un écart encore plus grand. Une bonne publicité pour Google et du pain bénit pour les gros titres des journaux.

Cependant, en approfondissant l'analyse, un détail majeur apparaît : la consommation de Mistral est indiquée pour une réponse de 400 tokens via Le Chat, tandis que pour Gemini, les données sont fondées sur « une requête textuelle médiane » (avec toutes les limites que présente une médiane). C’est l’équivalent de comparer les émissions d’une trottinette sur un trajet moyen à celles d’une voiture sur 10km : la comparaison directe devient immédiatement moins pertinente. Autre point d’attention : le périmètre sur lequel porte l’étude. L’étude de Google porte en effet sur l’équivalent de ce qu’il se passe à un instant T, soit l’équivalent du moment où l’on appuie sur l’accélérateur, pour rester dans la métaphore automobile. Quant à Mistral, leur étude porte sur une analyse complète du cycle de vie (ACV), prenant en compte l’impact de la fabrication, du réseau, etc. Si l'on ajoute à cela le matériel différent utilisé et le mix énergétique, on se rend compte que chaque résultat donné par ces entreprises est réel et vérifiable dans leur contexte, mais qu'il est difficile de les superposer. Finalement, l’accroche « Mistral consomme 50 fois plus que Gemini » relève davantage du slogan que d'un véritable benchmark. 

Pourquoi l’ACV a ses limites

L’analyse du cycle de vie est un très bon outil, car elle permet d’avoir une vision plus globale de l’impact environnemental, de fixer des frontières et d’éviter les angles morts en prenant en compte les émissions indirectes (eau, ressources, fabrication). Pourquoi cela ne résout-il pas le problème ? Parce qu’une analyse du cycle de vie est une carte, pas un chronomètre. Pour comparer l’impact de deux IA, il faut définir une unité de mesure commune, un périmètre et un contexte d’usage. Et c’est là que commence la véritable bataille de pouvoir : qui parviendra à définir ces lignes ? 

Mesurer la sobriété des IA: quand l’unité fait le podium

Dans l’IA générative, le pouvoir réside aujourd'hui dans la définition de la mesure. En fin de compte, opter pour “une requête médiane”, “une requête de 400 tokens” ou encore “un  scénario standard” façonne la perception publique, influence les consommateurs et, in fine, dessine le marché. Ce phénomène s'est déjà produit dans d'autres domaines, comme avec Energy Star qui a façonné l'électroménager, ou encore avec les Core Web Vitals de Google qui ont changé la façon dont on conçoit les sites internet aujourd’hui. Celui qui fixe le mètre façonne le terrain de jeu.

Les éventuelles conséquences ? Un système qui favoriserait les “hyperscalers” (Google, Microsoft, Amazon), qui disposent d’une maîtrise intégrale de la chaîne de valeur, rendue possible par leur puissance technologique, leurs infrastructures propriétaires (data centers, puces) et leurs accords en énergie bas carbone.  Si l’on regarde les chiffres “à la requête”, selon des règles qu'ils ont créées pour leur propre avantage, sans prendre en compte leur impact global, notamment celui de la fabrication, ils sont effectivement le plus souvent réellement plus efficaces, ce qui semble être une bonne nouvelle puisqu'ils poussent la limite attendue vers le bas. Le risque serait que ces chiffres deviennent une norme de fait attendue par les acheteurs, renforçant la position de ces hyperscalers, au détriment d’une plus grande diversité d’acteurs (modèles plus petits, open source, clouds régionaux, etc), au nom de la sobriété.

En conclusion, il ne s'agit pas de désigner de bons et de mauvais élèves, mais de décider qui tient le mètre. L’enjeu à venir est donc de définir un protocole public, reproductible et auditable. Tant que la comparaison reposera sur des unités hétérogènes, les podiums resteront des artefacts marketing.