Infrastructure de recherche indépendante
La recherche aux limites d'Apple Silicon.
Un cluster de recherche Apple Silicon personnel, construit pour explorer ce que le calcul distribué rend possible.
MacLustr est une infrastructure de calcul distribué en évolution, au service d'expériences sur les modèles de langue locaux, l'apprentissage automatique et la recherche computationnelle.
Mesuré, pas estimé
Inventaire vérifié le
29 machines documentées
28 ont répondu au dernier relevé
1 068Go de mémoire unifiée
somme sur des machines distinctes, pas un espace partagé
393 cœurs CPU
Total des cœurs GPU non affiché : une fiche est incomplète
1 GbE lien filaire par machine
débit négocié lu sur chaque nœud
Les totaux sont calculés à partir des fiches de nœuds ci-dessous. Les nombres de cœurs et la mémoire sont des caractéristiques matérielles lues sur chaque machine ; ce ne sont pas des résultats de performance.
Fait de vraies machines
Trois étagères d'acier, une machine à la fois.
J'ai construit MacLustr progressivement, à partir de quelques Mac Studio, en ajoutant des Mac mini et des portables à mesure que les besoins de recherche grandissaient. Il tient sur des étagères industrielles ordinaires, pas dans un centre de données.
Rien sur ce site n'est un rendu ni une mise en scène. Les photographies montrent le cluster tel qu'il fonctionne : des machines étiquetées, des câbles attachés, des ventilateurs qui poussent l'air à travers les tablettes, et des portables qui travaillent écran ouvert.
Topologie
Comment les machines sont reliées
Une carte simplifiée. Elle regroupe les machines par type et montre des rôles, pas des adresses ; la disposition interne est volontairement omise.
Sélectionnez un bloc pour lire ce qu'il fait.
- Réseau filaire local
- Tunnel chiffré
04 / 08
Ethernet filaire
Chaque machine déclare un lien négocié à 1 GbE. C'est le débit mesuré ; aucune interconnexion plus rapide n'est revendiquée.
Matériel
Quatre types de machines
Chaque famille mène à ses fiches de nœuds individuelles.
13
Mac mini
13 machines
296 Go mémoire unifiée
M4 Pro · M4 · M6 · M5 Pro · M2 Pro · M2
Tout voir12
Mac Studio
12 machines
648 Go mémoire unifiée
M3 Ultra · M2 Ultra · M4 Max · M5 Max · M2 Max · M1 Max
Tout voir2
MacBook Air
2 machines
40 Go mémoire unifiée
M3
Tout voir2
MacBook Pro
2 machines
84 Go mémoire unifiée
M4 Max
Tout voir
Thèmes de recherche
À quoi sert le cluster
- 01Actif
Modèles de langue locaux
Exécuter et étudier des modèles ouverts sur des machines que je contrôle : expériences d'architecture sur de petits modèles, et inférence sur de plus grands dans la limite de la mémoire d'un seul nœud.
- 02Actif
Apple Silicon et MLX
Mesurer ce que la mémoire unifiée et le GPU Apple apportent au calcul numérique, avec MLX pour les modèles et Metal pour des noyaux sur mesure.
- 03Actif
Charges distribuées
Des méthodes statistiques conçues pour de nombreuses machines et peu de tours de communication, testées sur de vrais hôtes plutôt que simulées.
- 04Actif
Calcul scientifique
De grands calculs par lots en économétrie et en analyse de données, découpés en tâches indépendantes et répartis au prorata des cœurs de chaque nœud.
- 05Actif
Recherche agentique
Des agents de programmation autonomes exploitent le cluster par une passerelle unique, et sont eux-mêmes un objet d'étude.
- 06Prévu
Bancs d'essai reproductibles
Un protocole fixe pour comparer les générations de puces sur des modèles et des invites identiques. Le protocole est publié ; les mesures ne le sont pas encore.
Travaux choisis
Des expériences menées ici
Chaque entrée précise comment le cluster a réellement servi, y compris lorsqu'il s'agissait d'une seule machine.
Working Paper 40 ·
RAID: A Metal-Accelerated C++ Framework for Reproducible High-Frequency Financial Econometrics
Usage du cluster — Une expérience de l'article exécute la même charge sur onze machines du cluster afin de comparer les générations de puces.
Working Paper 41 ·
Multi-Resolution Context in Intraday Probabilistic Return Forecasting: A Pre-Registered, Matched-Budget Measurement on 300 U.S. Instruments
Usage du cluster — L'entraînement et l'évaluation ont tourné sur un seul nœud Mac Studio M3 Ultra : une machine, pas une exécution distribuée.
Working Paper 28 ·
Beyond One-Step Distributed Maximum Likelihood: Local Bias Cancellation, Global Synchronization, and the Price of Inexact Curvature
Usage du cluster — C'est le cas le plus net de parallélisme réellement distribué sur le cluster : l'étude de Monte-Carlo a tourné sur 18 nœuds et le banc d'essai réel a utilisé 16 machines échangeant des messages par TCP.
Ouvrir le journal de recherche Méthodologie des bancs d'essai
Collaboration
Vous souhaitez utiliser MacLustr pour la recherche ?
MacLustr sert d'abord mes propres recherches. Je suis ouvert à discuter de collaborations et, lorsque la capacité et l'adéquation du projet le permettent, d'un accès pour des chercheurs externes. Les demandes sont étudiées une à une ; l'accès n'est pas garanti.