compar:IA : deux réponses, un vote, des données ouvertes

On pose une question. Deux modèles répondent, sans que leurs noms soient affichés. On vote pour la réponse qu'on préfère, ou on passe. Les noms n'apparaissent qu'ensuite. Voilà tout ce que demande compar:IA, qui est gratuit et ne demande pas de compte.

Le principe est simple. Ce qui nous a retenus, c'est ce qu'en a fait le projet en deux ans : un classement public, des jeux de données ouverts, et une plateforme que d'autres peuvent installer chez eux.

Les étapes, telles que le projet les raconte

Le dépôt du projet tient sa propre chronologie. L'arène publique a ouvert en octobre 2024, portée par l'État français. En mars 2025, elle atteignait 50 000 votes et un premier jeu de données paraissait sur Hugging Face. En novembre 2025, un premier classement public était publié, le projet était reconnu comme bien public numérique (Digital Public Good), et une deuxième instance, l'arène danoise AI-arenaen, ouvrait. En juin 2026, le compteur dépassait 700 000 conversations et 250 000 votes, dont 89 % environ en français, pour plus de 130 modèles testés. En septembre 2026, la version 2.0 ajoutait l'historique des messages, des classements personnels et une interface d'administration.

Le financement vient de l'ALT-EDIC, de la DINUM et du ministère de la Culture, selon le dépôt. D'autres équipes y contribuent : le PEReN pour le classement, PIX, et l'équipe danoise.

Ce que le classement mesure

Le classement transforme les votes à l'aveugle en scores de Bradley-Terry, avec des intervalles de confiance à 95 %. Le projet prend soin de préciser que ces scores mesurent les préférences recueillies dans l'arène, et non la qualité objective d'un modèle. La méthode, les calculs et les données sont publics.

Cette précision compte. Un modèle qui plaît à ceux qui passent sur le site n'est pas forcément le plus juste ni le plus utile pour un usage précis. Un classement lisible, avec ses limites écrites à côté, vaut mieux qu'un score présenté comme une vérité.

Ce qui est publié

Les questions, les votes et les réactions des participants sont publiés en jeux de données ouverts, sous Licence Ouverte Etalab 2.0 et CC BY 4.0 (jeu comparia-fr-arena). Le dépôt les destine à la recherche, à l'entraînement et à l'ajustement de modèles. Ce sont des questions réelles, en grande partie en français, accompagnées du jugement de ceux qui les ont posées. C'est pour cela que MAUB range le projet parmi ceux qui fournissent des ressources à l'IA plutôt que ceux qui en embarquent une.

Le catalogue de modèles indique l'origine et les caractéristiques techniques de chacun. Quand assez de données techniques sont disponibles, il affiche une estimation de la consommation d'énergie calculée avec EcoLogits. Pour les modèles propriétaires, dont la taille n'est pas publiée, le projet raisonne sur une fourchette et signale le chiffre comme une estimation.

Ce qui coince, ou reste à voir

Le dépôt liste ce qui est en cours : l'usage d'outils par les modèles, la connexion par OIDC et un meilleur contrôle du style. Il affiche aussi, côté fait, le passage de Gradio à FastAPI, une migration qui ne se voit pas de l'extérieur mais qui conditionne le reste.

Le projet se présente désormais comme une plateforme que chaque organisation, secteur ou langue peut déployer : un serveur, Docker, une configuration des modèles et de la langue dans l'interface d'administration. Le Danemark l'a fait : le tableau du dépôt liste aujourd'hui deux instances, la France et la sienne, dont le jeu de données est annoncé « bientôt ».

Un classement par préférence, une estimation de la consommation d'énergie dans le bilan de chaque échange, des données rendues à ceux qui les produisent : on retrouve là ce que le manifeste demande à une IA. Si vous animez une communauté linguistique ou un secteur qui voudrait sa propre arène, dites-le-nous.