Bancs d'essai
Des preuves reproductibles
Un banc d'essai n'est utile que si quelqu'un d'autre peut le refaire. Cette page expose le protocole ; les résultats n'y sont ajoutés qu'une fois mesurés selon celui-ci.
Résultats à venir
Aucune observation de banc d'essai n'est encore publiée.
Je préfère un tableau vide à un tableau approximatif. Les graphiques de cette page sont construits et testés sur des données d'exemple en développement, et restent masqués tant qu'il n'existe pas de mesures réelles.
Mesures prévues
- Vitesse de génération en jetons par seconde
- Délai avant le premier jeton
- Débit sous requêtes concurrentes
- Mémoire maximale et pression mémoire
- Puissance consommée et énergie par tâche, une fois un wattmètre en place
- Débit réseau entre nœuds
- Temps d'exécution des charges par lots
Ce que chaque observation doit porter
Le modèle de données rejette toute observation à laquelle il manque l'un de ces champs.
- Matériel
- Identifiant de la fiche de nœud dans l'inventaire, donc puce, mémoire et répartition des cœurs
- Modèle
- Identifiant du modèle et version ou révision exacte
- Quantification
- Nombre de bits et schéma
- Environnement
- Environnement d'exécution et version, par exemple la version de MLX
- Longueurs
- Longueur de l'invite et de la sortie, en jetons
- Concurrence
- Nombre de requêtes simultanées
- Méthode
- Comment la valeur a été mesurée, y compris l'échauffement et ce qui tournait par ailleurs
- Date
- Jour de la mesure
- Répétitions
- Nombre d'exécutions
- Incertitude
- Dispersion entre les exécutions
- Données brutes
- Référence aux enregistrements bruts
Limites de la comparaison
Deux quantifications d'un même modèle sont deux modèles différents. Elles ne sont jamais placées sur un même axe sans le dire.
Un nœud qui héberge aussi des services n'est pas un banc de test propre. Les mesures sont prises machine au repos, ou la charge est indiquée.
Portables et ordinateurs de bureau ne brident pas de la même façon sous charge soutenue ; des essais courts avantagent donc les portables.
Des résultats obtenus avec des versions différentes de l'environnement d'exécution ne sont pas comparables, sauf si la version est la variable étudiée.
Des caractéristiques comme le nombre de cœurs ne sont pas des résultats. L'inventaire liste les premières ; seule cette page listera les seconds.
Des mesures déjà présentes dans des articles
Certains working papers du journal de recherche contiennent leurs propres résultats mesurés, avec leurs propres méthodes, par exemple des seuils de rentabilité du GPU face au CPU pour des noyaux numériques. Ils sont cités là-bas plutôt que repris ici, car ils n'ont pas été produits selon ce protocole.