Une montagne enneigée sous un champ d’étoiles, une file de lanternes gravissant son flanc jusqu’à un sommet lumineux.

Benchmark

Caesar® face aux harnais sectoriels, à l’IA généraliste adaptée à un secteur, aux LLM génériques et aux outils d’IA sectoriels. Mêmes tâches, même notation, dans chaque secteur.

La comparaison

Cinq façons de mettre l’IA au travail. Un seul benchmark.

Chaque institution choisit l’une de ces voies, souvent sans les comparer. Nous soumettons les mêmes tâches aux cinq, dans chaque secteur, et les notons de la même manière.

01 · HAQQ

Caesar®

Un moteur souverain. Il prépare la tâche sur votre infrastructure, l’achemine vers les modèles que vous autorisez et vérifie la réponse.

Vos données n’atteignent jamais les modèles de pointe.
02

Harnais sectoriels

Des frameworks d’agents construits autour de modèles de pointe pour un seul domaine : prompts, outils et recherche assemblés.

Limités aux modèles proposés par leur éditeur.
03

IA généraliste adaptée à un secteur

Un modèle généraliste affiné ou décliné pour un secteur par son laboratoire ou par un revendeur.

Solides dans leur secteur, génériques pour le reste.
04

LLM génériques

Les modèles de pointe et à poids ouverts les plus récents, utilisés directement par chat ou par API.

Les prompts sont envoyés au fournisseur, sauf si vous hébergez vous-même des poids ouverts.
05

Outils d’IA sectoriels

Des produits spécialisés pour un seul flux de travail dans un seul secteur, comme la recherche, la revue ou les sinistres.

Conçus pour un seul flux de travail ; le reste exige d’autres outils.

Qualité par dollar × fiabilité

Une qualité par dollar fiable, pour chaque tâche, quel que soit le secteur.

Chaque point représente l’un des modèles les plus récents, noté sur une évaluation comparative publique. Plus à droite, chaque dollar achète davantage de qualité. Plus haut, un modèle donne moins de réponses fausses quand il n’est pas sûr. La cible Caesar® indique où nous visons : ce n’est pas un résultat mesuré.

Voir les chiffres
ModèleQualitéCoût par tâcheQualité par $Indice de qualité par $Indicateur de fiabilité
Cible Caesar®Pas encore mesuréPas encore mesuréPas encore mesuré

Comment le lire

La qualité par dollar est le score de qualité divisé par le coût par tâche, en comptant chaque token facturable : entrée, sortie et raisonnement. À qualité égale, une série qui coûte 10 % de moins obtient un score 11 % plus élevé. L’axe est un indice : 100 % correspond à la cible Caesar®, et chaque modèle est placé proportionnellement. C’est une échelle relative, pas un score de qualité. Comparez les points au sein d’une vue, pas d’une vue à l’autre. Les modèles sans taux d’hallucination publié figurent uniquement dans le tableau.

La fiabilité correspond à 100 moins le taux d’hallucination. Artificial Analysis compte les réponses fausses parmi toutes les réponses qui ne sont pas correctes, de sorte qu’un modèle qui refuse de répondre obtient un bon score. C’est un indicateur général, pas une mesure de la fiabilité dans le secteur que vous avez choisi.

Caesar® est présenté comme une cible, pas comme un résultat. Sa qualité par dollar est de 100 % par construction et sa fiabilité est une hypothèse : 25 % de réponses fausses restantes en moins que le meilleur modèle du graphique. Caesar® n’a pas encore été mesuré. Ses séries sectorielles remplaceront la cible dès leur publication.

Sources : évaluations comparatives par tâche de Vals.ai (mis à jour les 7 et 8 oct. 2026) pour la qualité et le coût par tâche ; Artificial Analysis Intelligence Index et analyses d’hallucination (de juin à septembre 2026) pour la référence générale et la fiabilité. Le coût de référence générale de Gemini 4 Argon reflète une remise de lancement de 50 % ; Vals.ai utilise son prix standard. Trois taux d’hallucination ne proviennent pas d’un test actuel et comparable : Claude Fable 5.1 (analyse de lancement, ancienne série de tests), Claude Sonnet 5.5 (déploiement en préversion) et MiniMax-M3 (Artificial Analysis, juin 2026).

Nativement

Ce que chaque voie vous apporte avant le premier score.

Une évaluation comparative mesure des réponses. Voici les caractéristiques qui déterminent si vous pouvez tout simplement utiliser ces réponses.

CritèreCaesar®Harnais sectorielsIA généraliste adaptée à un secteurLLM génériquesOutils d’IA sectoriels
Vos données n’atteignent jamais les modèles de pointe.OuiSelon les casSelon les casPoids ouverts uniquementSelon les cas
Choisir et changer de modèleOuiEn partieNonUn à la foisNon
Fonctionne dans tous les secteursOuiUn seul domaineUn seul secteurOuiUn seul flux de travail
Chaque affirmation sourcéeOuiEn partieEn partieNonEn partie
Journal d’audit de chaque appelOuiEn partieNonNonEn partie
Utilise vos propres documents et procéduresOuiOuiEn partieNonEn partie
Déploiement sur siteOuiSelon les casSelon les casPoids ouverts uniquementRarement

Caractéristiques typiques de chaque voie telle qu’elle est proposée aujourd’hui. Chaque produit peut différer.

Méthode d’évaluation de Caesar®

Comment se déroule chaque série sectorielle.

Le même protocole dans chaque secteur, pour qu’un score en finance ait le même sens qu’un score en droit.

Des tâches réelles

Chaque secteur reçoit une série de tâches rédigées avec des praticiens : recherche, comparaison de documents, rédaction et revue.

Mêmes données d’entrée pour les cinq

Chaque voie reçoit les mêmes documents et instructions. Chacune fonctionne comme son éditeur le recommande.

Notation à l’aveugle

Des grilles d’évaluation et des experts qui ignorent quelle voie a produit la réponse. Chaque source citée est vérifiée.

Défaites publiées

Nous publions chaque résultat, y compris les évaluations comparatives où Caesar® n’est pas en tête, avec le coût et le temps par tâche.

Ce que nous mesurons

Qualité par dollar

Nous divisons la qualité de chaque réponse par ce qu’elle coûte à produire.

Fiabilité

Nous mesurons la fréquence à laquelle une réponse est fausse ou cite une source qui ne l’étaye pas.

Preuves de Justinian®, mesurées séparément

Justinian® a fixé la barre en droit.

Caesar® est la génération qui succède à Justinian® et porte le moteur au-delà du droit. Ces résultats sont ceux de Justinian®, pas ceux de Caesar®. En droit, Justinian® obtient un score supérieur aux dix systèmes face auxquels il a été testé, modèles de pointe et CoCounsel compris.

Mesuré83.2Score global sur les cinq domaines du benchmark. Le meilleur modèle de pointe a obtenu 79,5.
Mesuré23 / 25Évaluations comparatives où Justinian® obtient le meilleur score, seul ou à égalité.
Mesuré5 / 5Domaines où Justinian® a la moyenne la plus élevée : juridique, fiscalité, journalisme, général, sécurité.
Mesuré10Systèmes comparés : modèles de pointe, modèles à poids ouverts et un outil d’IA juridique.

Source : le benchmark Justinian®, haqq.ai/justinian. Justinian® n’est pas en tête sur Harvey LAB ni sur Long Context, et nous publions aussi ces résultats.

Apportez vos exigences. Examinons-les ensemble.

Nous partirons de votre périmètre de données, du flux de travail que vous voulez déployer et des contrôles que votre équipe doit évaluer.

Discutons de votre déploiement d’IA.

Dites-nous ce que votre équipe souhaite accomplir et les contraintes dans lesquelles vous opérez. Nous examinerons où Caesar® pourrait s’intégrer et ce que pourrait comprendre un premier engagement.

Réserver un appel de 30 minutes

Aucun cas d’usage défini n’est nécessaire. La page de réservation s’ouvre dans une nouvelle fenêtre.