xAI’s Colossus supercomputer cluster achieves massive scale using the NVIDIA Spectrum-X Ethernet networking platform to connect 100,000 NVIDIA Hopper Tensor Core GPUs.
The most powerful liquid-cooled AI SuperCluster is designed to take xAI’s Grok AI to another era. Supermicro accelerates the industry’s transition to liquid-cooled AI data centers to deliver a new paradigm of energy efficiency for the rapidly-heightened demand of energy and power requirements of today’s AI infrastructure. With extensive experience deploying large-scale direct-to-chip (DLC) liquid-cooled AI systems, Supermicro’s leading liquid cooling technology is powering the most ambitious AI infrastructure projects in the world.
Featuring ServeTheHome
One of the most powerful liquid-cooled AI SuperClusters is designed to take xAI’s Grok AI to the next level. Supermicro is developing leading liquid cooling rack technology powering the world's most ambitious AI infrastructure projects.
Inside the 100K GPU xAI Colossus that Supermicro Helped Build for Elon Musk
Authored by Patrick Kennedy, ServeTheHome
Máxima densidad
Con 32 sistemas NVIDIA HGX H100/H200 de 8 GPU, 4U y refrigeración líquida (256 GPU) en 5 racks
- Duplicación de la densidad de cálculo a través de la solución de refrigeración líquida personalizada de Supermicro con una reducción de hasta el 40% en el coste de electricidad para el centro de datos.
- 256 GPU NVIDIA H100/H200 en una unidad escalable
- 20 TB de HBM3 con H100 o 36 TB de HBM3e con H200 en una unidad escalable
- Conexión en red 1:1 con cada GPU para permitir RDMA y almacenamiento NVIDIA GPUDirect para el entrenamiento de modelos de lenguaje de gran tamaño con hasta billones de parámetros.
- Tejido de almacenamiento de canalización de datos de IA personalizable con opciones de sistemas de archivos paralelos líderes del sector
- Supports NVIDIA Quantum-2 InfiniBand and Spectrum™-X Ethernet platform
- Certified for NVIDIA AI Enterprise Platform including NVIDIA NIM microservices
Nodo informático
Success Story
Inside the 100K GPU xAI Colossus Cluster that Supermicro Helped Build for Elon Musk
White Paper
A Blueprint for LLM and Generative AI Infrastructure at Scale
Datasheet