Méthodologie
“public-community experience index, not a benchmark”
Ce que mesure cet indice
Le score d'expérience est un indice observationnel : comment les utilisateurs des communautés publiques décrivent leur expérience avec chaque famille de modèles — signaux positifs et négatifs extraits de commentaires réels. Ce n'est pas un benchmark de capacités.
Sources de données
Nous analysons en continu les commentaires publics de Reddit, Hacker News et des communautés chinoises (Zhihu, etc.). Chaque commentaire est classé par un pipeline LLM en signaux d'expérience par modèle et par dimension. Le score global regroupe chaque avis valide de manière égale ; la plateforme ne sert qu'à la ventilation et à l'audit.
Fenêtres et seuils
Le score principal utilise une fenêtre glissante de 7 jours ; le pouls, 24 heures. En dessous du seuil d'échantillon minimal, nous affichons « données insuffisantes » plutôt qu'un score. Chaque chiffre du site indique sa taille d'échantillon.
Scores par version
Le score d'une version utilise uniquement les commentaires qui la nomment explicitement. Les mentions génériques comme « ChatGPT » ou « Claude » restent dans le score de la famille, dont l'échantillon est donc plus large. Sous le seuil minimal, seule la quantité de mentions est affichée.
Vos signalements directs
Le widget de signalement alimente un signal distinct. Nous dédupliquons par IP hachée, par modèle et par jour, ne stockons jamais d'IP brute et n'affichons que des agrégats. Les signalements directs sont recoupés avec les signaux communautaires ; ils n'entrent pas dans le score.
Règles d'honnêteté
Les variations sont présentées comme de l'expérience perçue, jamais comme des conclusions sur les capacités. Les annotations d'anomalies distinguent correspondance forte, faible ou absente avec les événements publics.