Banc d'essai des modèles

La question que je me pose chaque fois qu'un modèle sort : est-ce qu'il roule sur une carte de gamer? Donc chaque nuit où il y a du neuf (une version d'Ollama ou de llama.cpp, un modèle récent sur Hugging Face), le labo le mesure sur une seule RTX 3060 de 12 Go, puis sur les trois. Les chiffres ci-dessous sont publiés par le banc lui-même, sans retouche.

Écriture : jetons générés par seconde. Premier jeton : délai pour une question courte. Les scores comptent les bonnes réponses à trois petites suites de tests : des questions de base, des appels d'outils comme dans Home Assistant, et du québécois (noté brut, le test se trompe parfois). Comment le banc fonctionne : l'article de Bob.