Un cluster d'ordinateurs distincts

01

La mémoire unifiée, une machine à la fois

Sur Apple Silicon, le CPU et le GPU partagent un même espace mémoire. Un modèle qui tient dans la mémoire unifiée d'un nœud est chargé une seule fois et utilisé par le GPU sans copie vers une carte graphique séparée. C'est pourquoi un Mac Studio de 96 Go peut accueillir des modèles qui ne tiendraient pas sur la plupart des GPU grand public.

Cet espace s'arrête aux limites de la machine. Relier des ordinateurs par Ethernet ne fusionne pas leur mémoire unifiée en un espace d'adressage GPU partagé, quel que soit le débit du lien. Le total de mémoire affiché sur ce site est une somme sur des machines distinctes : le plus grand modèle que le cluster peut charger est borné par son plus gros nœud, pas par le total.

02

Trois types de charges

Indépendantes : l'essentiel du travail s'exécute sur un seul nœud du début à la fin, qu'il s'agisse d'entraîner un petit modèle, d'estimer un modèle statistique ou de servir une application. Le cluster agit alors comme de nombreux ordinateurs utilisables en même temps.

Réparties entre les nœuds : un grand lot est découpé en tâches indépendantes, distribuées au prorata du nombre de cœurs de chaque nœud. Les nœuds ne se parlent pas pendant l'exécution ; les résultats sont rassemblés à la fin. La plupart des calculs multi-nœuds sont de ce type.

Réellement distribuées : dans quelques expériences, les nœuds échangent des messages pendant le calcul, par exemple pour une estimation du maximum de vraisemblance distribuée en un petit nombre de tours de communication par TCP. Ce sont des protocoles de recherche précis, pas une capacité générale.

Aucun modèle n'a été réparti entre plusieurs machines ici. Je ne revendique ni découpage de modèle ni inférence distribuée, et l'entraînement au sens usuel s'est limité à des modèles qui tiennent sur un seul nœud.

03

Réseau

Chaque machine ayant déclaré un lien filaire négocie à 1 GbE (1000BASE-T). J'indique le débit mesuré plutôt que la capacité nominale d'un commutateur ou d'un adaptateur. Aucune interconnexion plus rapide n'est en service sur les nœuds, et aucune n'est revendiquée.

À 1 GbE, le réseau est le goulot d'étranglement de tout ce qui déplace des tenseurs entre machines : un jeton généré coûte peu à transmettre, mais pas des activations ni les poids d'un modèle. C'est la raison principale pour laquelle le cluster privilégie les tâches indépendantes et réparties.

04

Stockage

Les données de travail résident sur le SSD interne de chaque nœud, de 245 Go à 995 Go par machine d'après les machines elles-mêmes. Les grands jeux de données sont conservés sur le nœud qui les traite, pour éviter de les lire par le réseau.

Deux unités de stockage en réseau assurent les sauvegardes et les fichiers partagés. Elles ne servent pas de système de fichiers parallèle.

05

Orchestration et plan de contrôle

Un Mac Studio sert de passerelle. Il héberge un service git privé et un orchestrateur que j'ai écrit : celui-ci relève la mémoire libre, la charge, le disque et les environnements installés de chaque nœud, note les candidats, place la charge sur le meilleur, vérifie sa santé et consigne où elle tourne.

Une boucle de réparation s'exécute toutes les quelques minutes et relance ce qui manque après une interruption. Les machines sont configurées pour ouvrir leur session et reprendre seules après une coupure de courant ; cela a été testé involontairement en septembre 2026, lorsque seize machines ont redémarré ensemble et sont revenues sans intervention.

Ceci décrit la construction du système. Ce n'est pas un engagement de disponibilité : le cluster est une installation de recherche qui peut être arrêtée, recâblée ou réaffectée à tout moment.

06

Service de modèles

Les modèles ouverts sont servis avec MLX sur un seul nœud, lancés pour la durée d'une expérience. Un point d'accès permanent, compatible OpenAI, qui servait plusieurs modèles a existé auparavant et a été démantelé en juin 2026 ; il figure dans l'historique, pas parmi les services actuels.

Aucun point d'accès d'inférence public n'est offert, et aucune adresse de nœud n'est joignable depuis Internet.

07

Périmètre externe

Un serveur bare-metal hébergé se trouve hors du cluster. Il termine le TLS des sites publics et relaie les requêtes vers le bon nœud par un tunnel chiffré. Il n'effectue aucun calcul de recherche et n'est pas compté dans l'inventaire.

Le site que vous lisez est servi ainsi : par un nœud du cluster, derrière cette passerelle.

08

Alimentation et refroidissement

Les machines reposent sur des étagères d'acier ouvertes, à température ambiante, avec des ventilateurs qui font monter l'air à travers les tablettes, comme le montrent les photographies. Il n'y a pas d'installation de refroidissement dédiée.

La puissance consommée, les températures et l'énergie par tâche n'ont pas encore été mesurées de façon systématique. D'ici là, ce site ne publie aucun chiffre de puissance ni d'efficacité.