xAI Colossus
SuperClúster de IA Generativa
SupermicroCOMPUTEX CEO Keynote
xAI’s Colossus supercomputer cluster achieves massive scale using the NVIDIA Spectrum-X Ethernet networking platform to connect 100,000 NVIDIA Hopper Tensor Core GPUs.
The most powerful liquid-cooled AI SuperCluster is designed to take xAI’s Grok AI to another era. Supermicro accelerates the industry’s transition to liquid-cooled AI data centers to deliver a new paradigm of energy efficiency for the rapidly-heightened demand of energy and power requirements of today’s AI infrastructure. With extensive experience deploying large-scale direct-to-chip (DLC) liquid-cooled AI systems, Supermicro’s leading liquid cooling technology is powering the most ambitious AI infrastructure projects in the world.
—Supermicro (@Supermicro_SMCI) October 25, 2024
A gran escala Formación en IA
Grandes modelos lingüísticos, entrenamiento generativo de IA, conducción autónoma, robótica
El entrenamiento de IA a gran escala exige tecnologías de vanguardia que maximicen la capacidad de cálculo paralelo de las GPU para manejar miles de millones, si no billones, de parámetros de modelos de IA que deben entrenarse con conjuntos de datos masivos que crecen exponencialmente. Aprovechando el HGX H100 SXM 8-GPU/4-GPU de NVIDIA y las interconexiones más rápidas NVlink® & NVSwitch® GPU-GPU con un ancho de banda de hasta 900GB/s, y la red 1:1 más rápida a cada GPU para la agrupación de nodos, estos sistemas están optimizados para entrenar grandes modelos de lenguaje desde cero en el menor tiempo posible. Completando la pila con NVMe all-flash para una canalización de datos de IA más rápida, proporcionamos bastidores totalmente integrados con opciones de refrigeración líquida para garantizar una implementación rápida y una experiencia de formación de IA sin problemas.
Tamaños de carga de trabajo
- Extra grande
- Grande
- Mediana
- Almacenamiento
Recursos
HPC/AI
Simulación de ingeniería, investigación científica, secuenciación genómica, descubrimiento de fármacos
Cada vez son más las cargas de trabajo de HPC que aumentan los algoritmos de aprendizaje automático y la computación paralela acelerada por GPU para acelerar los descubrimientos de científicos, investigadores e ingenieros. Muchos de los clusters de supercomputación más rápidos del mundo ya aprovechan las ventajas de las GPU y el poder de la IA.
Las cargas de trabajo de HPC suelen requerir simulaciones y análisis intensivos de datos con conjuntos de datos masivos y requisitos de precisión. Las GPU como la H100 de NVIDIA proporcionan un rendimiento de doble precisión sin precedentes, con 60 teraflops por GPU, y las plataformas HPC altamente flexibles de Supermicro permiten altos recuentos de GPU y CPU en una variedad de factores de forma densos con integración a escala de bastidor y refrigeración líquida.
Tamaños de carga de trabajo
- Grande
- Mediana
Resources
Inferencia y formación de IA para empresas
Inferencia generativa de IA, servicios/aplicaciones basados en IA, chatbots, sistemas de recomendación, automatización empresarial
El auge de la IA generativa ha sido reconocido como la próxima frontera para diversos sectores, desde la tecnología hasta la banca y los medios de comunicación. Ha comenzado la carrera por adoptar la IA como fuente para generar innovación, impulsar significativamente la productividad, agilizar las operaciones, tomar decisiones basadas en datos y mejorar la experiencia del cliente.
Tanto si se trata de aplicaciones y modelos de negocio asistidos por IA, como de chatbots inteligentes similares a los humanos para la atención al cliente, o de IA para copilotar la generación de código y la creación de contenidos, las empresas pueden aprovechar marcos abiertos, bibliotecas, modelos de IA preentrenados y perfeccionarlos para casos de uso únicos con su propio conjunto de datos. A medida que la empresa adopta la infraestructura de IA, la variedad de sistemas optimizados para GPU de Supermicro proporciona una arquitectura modular abierta, flexibilidad de proveedor y rutas de despliegue y actualización sencillas para tecnologías en rápida evolución.
Tamaños de carga de trabajo
- Extra grande
- Grande
- Mediana
Resources
Visualización y diseño
Colaboración en tiempo real, diseño 3D, desarrollo de juegos
La mayor fidelidad de los gráficos 3D y las aplicaciones habilitadas para IA por las GPU modernas está acelerando la digitalización industrial, transformando los procesos de desarrollo y diseño de productos, la fabricación y la creación de contenidos con simulaciones 3D fieles a la realidad para alcanzar nuevas cotas de calidad, iteraciones infinitas sin costes de oportunidad y plazos de comercialización más rápidos.
Cree una infraestructura de producción virtual a escala para acelerar la digitalización industrial a través de las soluciones totalmente integradas de Supermicro, incluidos los sistemas 4U/5U 8-10 GPU, una arquitectura de referencia NVIDIA OVX™, optimizada para NVIDIA Omniverse Enterprise con conectores Universal Scene Description (USD), y servidores de montaje en bastidor y estaciones de trabajo multi-GPU con certificación NVIDIA.
Tamaños de carga de trabajo
- Grande
- Mediana
Resources
Entrega de contenidos y virtualización
Redes de distribución de contenidos (CDN), transcodificación, compresión, juegos en la nube y streaming
Las cargas de trabajo de distribución de vídeo siguen constituyendo una parte significativa del tráfico actual de Internet. A medida que los proveedores de servicios de streaming ofrecen cada vez más contenidos en 4K e incluso 8K, o juegos en la nube con una mayor frecuencia de actualización, la aceleración de la GPU con motores multimedia es imprescindible para multiplicar el rendimiento de los canales de streaming y reducir la cantidad de datos necesarios con una mayor fidelidad visual, gracias a las últimas tecnologías como la codificación y descodificación AV1.
Los sistemas multinodo y multi-GPU de Supermicro, como el sistema BigTwin® 2U de 4 nodos, cumplen los estrictos requisitos de la distribución de vídeo moderna, ya que cada nodo admite la GPU NVIDIA L4 con la capacidad de contar con abundante almacenamiento PCIe Gen5 y velocidad de red para impulsar la exigente canalización de datos para redes de distribución de contenidos.
Tamaños de carga de trabajo
- Grande
- Mediana
- Small
Resources
Inteligencia Artificial Edge
Transcodificación de vídeo Edge, inferencia Edge, formación Edge
En todos los sectores, las empresas cuyos empleados y clientes trabajan en ubicaciones periféricas (ciudades, fábricas, tiendas, hospitales, etc.) están invirtiendo cada vez más en la implementación de la IA en el perímetro. Al procesar los datos y utilizar algoritmos de IA y ML en el perímetro, las empresas superan las limitaciones de ancho de banda y latencia, lo que permite el análisis en tiempo real para la toma de decisiones oportuna, la atención predictiva y los servicios personalizados, así como la optimización de las operaciones empresariales.
Los servidores Supermicro Edge AI, creados específicamente y optimizados para el entorno, con varios factores de forma compactos, ofrecen el rendimiento necesario para una baja latencia, arquitectura abierta con componentes preintegrados, compatibilidad con diversas pilas de hardware y software, y conjuntos de características de privacidad y seguridad necesarios para despliegues edge complejos listos para usar.
Tamaños de carga de trabajo
- Extra grande
- Grande
- Mediana
- Small
Resources
SuperClúster de IA Generativa
La cartera más amplia de sistemas preparados para la IA
Implemente NVIDIA Omniverse™ a escala
COMPUTEX 2024 CEO Keynote