Ce qu’il rate
Un système qui répond sur le droit du travail sans pouvoir dire où il se trompe n’a rien à faire devant un salarié. Voici les 68 questions sur 142 qui posent problème, et pourquoi.
Ce à quoi ça ne doit pas servir
- Ce n’est pas un conseil juridique. Aucun avocat ni juriste n’a validé les réponses de ce système.
- Ce n’est pas un service public et ça n’émane d’aucune administration.
- Le corpus couvre quatre thèmes seulement : contrat et période d’essai, préavis et rupture, temps de travail et forfait-jours, classification et salaires minimaux. Tout le reste est hors champ.
- Aucun accord d’entreprise n’est pris en compte, alors qu’il peut modifier ce que dit la convention de branche.
- Avant d’agir sur une réponse, ouvrez l’article cité sur Légifrance et lisez-le.
Les échecs, classés par cause
Ils ne sont pas comptés ensemble, parce qu’ils n’ont pas le même remède. Un article jamais retrouvé est un problème d’indexation, qu’aucune amélioration de rédaction ne corrigera ; une réponse fausse à partir du bon article est exactement l’inverse.
- rubric-dependentla réponse tient ou non selon la sévérité de la correction43 · 30,3 %
- false-refusalrefus alors que le corpus contenait de quoi répondre10 · 7,0 %
- generation-missle bon article était sous les yeux du modèle, la réponse est fausse10 · 7,0 %
- retrieval-missl’article qui tranche n’est jamais arrivé jusqu’au modèle4 · 2,8 %
- citation-missla réponse est juste, la source citée ne l’est pas1 · 0,7 %
C’est la raison pour laquelle il n’y a pas de « taux d’exactitude » unique sur ce site. Un seul chiffre fusionnerait un retrieval-miss et un generation-miss, et ne dirait donc pas quoi réparer. Chez un client, c’est cette distinction qui décide si le prochain sprint porte sur l’indexation ou sur la rédaction.
Le juge n’est pas validé, et c’est écrit
Les réponses sont notées automatiquement par un second modèle (claude-sonnet-4-5-20250929). Pour qu’une note automatique veuille dire quelque chose, il faut montrer qu’elle est d’accord avec un humain compétent. La première calibration a donné un kappa de Cohen de 0,489 face à un lecteur non spécialiste — un accord trop faible pour valider quoi que ce soit.
Deux options existaient : présenter quand même un chiffre d’exactitude, ou dire que le juge n’est pas validé. C’est la seconde qui a été retenue, et l’exactitude est publiée comme une fourchette entre une correction stricte et une correction indulgente. Ce qui ne dépend d’aucune correction : 20,0 % des réponses sont fausses dans les deux lectures.
Ce que ça coûterait de trancher : environ deux heures d’une personne qui pratique la convention Syntec, sur 60 réponses tirées au sort. C’est le genre d’arbitrage qu’on préfère écrire noir sur blanc plutôt que d’arrondir.