alexis galbourdin

Benchmark IA HighWalk

  • Quel modèle, quel réglage, quel harness pour vos tâches ? Je le mesure.
  • Cas pilote : 80+ configurations, 2 mois de runs, coût divisé par 100 à qualité égale.

Genèse de HighWalk

Sur un projet passé en run, j'ai automatisé la mise à jour des spécifications techniques avec une Skill dédiée, chargée de comprendre l'impact réel de dizaines de commits puis de l'intégrer au bon niveau d'abstraction dans un document lu par des humains.

Des modèles excellents sur les benchmarks de code ont été mis en difficulté sur cet exercice. J'ai donc construit HighWalk, un protocole de test et de notation reproductible, que j'ai fait tourner deux mois sur cette tâche.

Pourquoi HighWalk ? Parce que le cas pilote mesurait la capacité des modèles à prendre de la hauteur, dans la compréhension globale et la documentation, au-delà de la seule écriture de code.

Résultats et enseignements

Un benchmark sur vos tâches

J'applique la même méthode à vos workflows IA, pour choisir la configuration la mieux adaptée.

  1. Cadrage : choix d'une tâche réelle et représentative, définition des critères de qualité pondérés et des contraintes (coût, délai, confidentialité, hébergement).
  2. Runs : tests de plusieurs modèles, niveaux d'effort, harness et skills, avec un protocole contrôlé et des runs répétés.
  3. Livrable : un classement qualité, coût et durée, la configuration recommandée, le coût d'exploitation projeté et des pistes d'optimisation du harness.

Durée indicative : 3 semaines. Mise à jour possible en fonction des sorties de modèles et des évolutions des harness.

Le détail du benchmark

Protocole, critères et classement

Tâche : Mise à jour d'un document de spécifications existant à partir de 46 commits sur un projet Laravel (95 fichiers modifiés, +4 587 / −945 lignes).

Environnement : Runs réalisés avec OpenCode et OpenRouter, providers verrouillés (provider de l'éditeur du modèle lorsqu'il n'entraîne pas sur les prompts, NovitaAI sinon). Les modèles qui supportent les niveaux de raisonnement ont été évalués sur plusieurs efforts.

Qualité brute : Évaluation métier pondérée sur 11 critères. Elle mesure la capacité à identifier les changements pertinents, les abstraire au bon niveau et les intégrer avec cohérence. Certains critères n'impliquent pas d'ajout : il peut s'agir d'identifier un changement comme non pertinent. Impasses et ajouts non justifiés pénalisés.

Efficience opérationnelle : Durée et coût à parts égales. Les plafonds de 10 minutes et 1,50$ traduisent une contrainte d'usage. Les dépasser tous les deux entraîne un score nul.

Score global : 80% de qualité brute, 20% d'efficience. Chaque configuration a été exécutée deux fois, et le meilleur run a été retenu.

Capture d'écran du tableau de résultats HighWalk

28 juillet : première photo

À la publication, ce sont les modèles frontier propriétaires qui tiennent le haut du classement. On y retrouve notamment Grok 4.5 (le meilleur au global), Claude Opus 5 (le meilleur en qualité brute) et GPT 5.6 Terra. GPT 5.6 Sol obtient un bon score de qualité brute, mais son efficience opérationnelle tombe à zéro. Côté open-weight, seuls GLM 5.2 et DeepSeek V4 Pro parviennent à entrer dans le Top 10.

Dès ce premier jeu de runs, un effort de raisonnement supérieur ne semble pas garantir un meilleur résultat pour cette tâche. Le critère d'efficience opérationnelle apparaît également fondamental et élimine d'entrée des configurations économiquement non viables.

14 août : Qwen 3.8 Max et niveau d'effort

Quatre modèles entrent dans le classement, dont Qwen 3.8 Max qui prend la première place au global, c'est le premier modèle open-weight à atteindre ce niveau. Claude Opus 5 reste en tête sur la qualité brute et sur le taux de couverture de 100% des critères. Grok 4.6 reste derrière Grok 4.5 aussi bien en qualité qu'en efficience opérationnelle.

L'effort medium commence à apparaître comme le bon réglage pour beaucoup de modèles. Il apparaît également qu'une nouvelle itération d'un modèle ne signifie pas forcément un gain de qualité.

23 août : GLM 5.3, le basculement open-weight

Qwen 3.8 Max n'aura été premier open-weight au global que quelques jours, GLM 5.3 change la donne. Il est premier au global, premier en qualité brute, et il couvre 100% des critères. C'est le premier modèle, open-weight ou non, à mener les trois à la fois, sur un même niveau d'effort.

L'inversion du rapport de force entre modèles open-weight et propriétaires commence à se dessiner. Le critère du taux de couverture devient également un élément différenciant.

22 septembre : un gain d'efficience significatif

Deux mois après le premier run, les modèles open-weight ont pris la tête. Parmi les modèles propriétaires, seul Grok 4.7 tient encore une place en haut de classement. GLM 5.3 reste premier, mais MiMo V2.6 est la vraie surprise. Sa version Flash atteint 90,91% de qualité brute et 100% de taux de couverture pour 0,02$, le coût le plus faible jamais constaté à ce niveau de qualité.

Le constat est sans appel : le haut du classement est maintenant trusté par des modèles open-weight, il n'aura fallu que deux mois pour que la tendance s'inverse. Un modèle se démarque pour cette tâche et nous permet d'atteindre une réduction de coût de 100x à qualité égale.

Données complètes

28 juillet – 22 septembre 2026

Écran non compatible.

Veuillez utiliser un appareil avec une largeur supérieure à 320px.