Para entrenamiento e inferencia de IA a escala de nube
La demanda de computación de alto rendimiento para entrenamiento de IA/Aprendizaje Profundo (DL) se ha duplicado en tamaño cada 3,5 meses desde 2013 (según OpenAI) y se está acelerando con el creciente tamaño de los conjuntos de datos y el número de aplicaciones y servicios basados en grandes modelos de lenguaje (LLM), visión computacional, sistemas de recomendación y más.
Con el aumento de la demanda de un mayor rendimiento, rendimiento y capacidad de formación e inferencia, el sector necesita sistemas creados específicamente que ofrezcan una mayor eficiencia, menor coste, facilidad de implementación, flexibilidad para permitir la personalización y escalabilidad de los sistemas de IA. La IA se ha convertido en una tecnología esencial para diversas áreas como copilotos, asistentes virtuales, automatización de la fabricación, operaciones de vehículos autónomos e imágenes médicas, por nombrar algunas. Supermicro se ha asociado con Intel para proporcionar un sistema a escala de nube y un diseño de bastidor con los aceleradores Intel Gaudi AI.
Nueva plataforma de formación e inferencia de IA Supermicro X14 Gaudi® 3
Aportando opciones al mercado de la IA empresarial, la nueva plataforma de formación de IA Supermicro X14 se basa en la tercera generación de aceleradores Intel® Gaudi 3, diseñados para aumentar aún más la eficiencia de la formación de modelos de IA a gran escala y la inferencia de IA. Disponible en configuraciones de refrigeración por aire y refrigeración líquida, la solución X14 Gaudi 3 de Supermicro se escala fácilmente para satisfacer una amplia gama de requisitos de carga de trabajo de IA.
- GPU: 8 aceleradores Gaudi 3 HL-325L (refrigeración por aire) o HL-335 (refrigeración líquida) en placa base OAM 2.0
- CPU: Dos procesadores Intel® Xeon® 6
- Memoria: 24 módulos DIMM - hasta 6 TB de memoria en 1 DIMM por canal
- Unidades: hasta 8 unidades PCIe 5.0 NVMe intercambiables en caliente
- Alimentación: 8 Titanium de 3000 W de alta eficiencia, totalmente redundantes (4+4)
- Redes: 6 puertos OSFP 800GbE integrados para ampliación
- Ranuras de expansión: 2 PCIe 5.0 x16 (FHHL) + 2 PCIe 5.0 x8 (FHHL)
- Cargas de trabajo: Formación e inferencia de IA
Servidor de formación de IA Supermicro Gaudi®2
Basándose en el éxito del sistema de formación de IA Supermicro Gaudi original, el servidor de IA Gaudi 2 prioriza dos consideraciones clave: integrar aceleradores de IA con módulos de red de alta velocidad incorporados para impulsar la eficiencia operativa para la formación de modelos de IA de última generación y aportar al sector de la IA la opción que necesita.
- GPU: 8 tarjetas mezzanine Gaudi2 HL-225H
- CPU: Dos procesadores Intel® Xeon® Scalable de 3ª generación
- Memoria: 32 módulos DIMM - hasta 8 TB de memoria SDRAM ECC registrada DDR4-3200 MHz
- Unidades: hasta 24 unidades intercambiables en caliente (SATA/NVMe/SAS)
- Alimentación: 6 fuentes de alimentación totalmente redundantes de 3000 W y alta eficiencia (54 V+12 V)
- Redes: 24 enlaces SerDes PAM4 de 100 GbE (48 x 56 Gb) mediante 6 QSFP-DD
- Ranuras de expansión: 2 conmutadores PCIe 4.0
- Cargas de trabajo: Formación e inferencia de IA
Para procesamiento y distribución de contenidos multimedia, transcodificación, juegos en la nube e inferencia visual de inteligencia artificial
A medida que la demanda de streaming de medios y juegos y de inferencias visuales sigue aumentando rápidamente, las organizaciones necesitan soluciones eficientes y escalables que puedan ofrecer servicios a miles o millones de usuarios simultáneos sin afectar a la calidad ni a la latencia. Las soluciones de computación acelerada de Supermicro incorporan la nueva GPU Intel Data Center optimizada para cargas de trabajo multimedia y en la nube.
Las GPU de Intel soportan una pila de software abierta y basada en estándares optimizada para densidad y calidad con capacidades de servidor críticas para alta fiabilidad, disponibilidad y escalabilidad en procesamiento de medios, entrega de medios, inferencia visual de IA, juegos en la nube y virtualización.
- Transcodificación de video: Más de 30 transmisiones a 1080p
- Juegos en la nube: más de 40 transmisiones de juegos
- Infraestructura de escritorio virtual: 62 funciones virtualizadas
- Inferencia: 150 TOPS DE IA
- Hasta 4 motores multimedia Xe
- Hasta 32 núcleos Xe y unidades de trazado de rayos
- Primera codificación y descodificación AV1 HW del sector
- Aceleración de IA XMX integrada
Ver la charla técnica
Thomas Jorgensen, director sénior de habilitación tecnológica de Supermicro, se sienta a hablar sobre las ventajas exclusivas de los sistemas Supermicro basados en la serie Intel Data Center GPU Flex.
Resumen de la solución
Supermicro e Intel colaboraron para ofrecer un rendimiento excepcional para una plataforma de juegos en la nube a gran escala que establece más de 560 transmisiones transcodificadas 1080p @60Hz por sistema.
Demostración de streaming 4K
Este vídeo muestra la solución de transmisión de vídeo 4K en tiempo real de Supermicro utilizando la serie Intel Data Center GPU Flex, con hasta 8 transmisiones simultáneas desde una única GPU.
Transcodificación optimizada
Diseño de alto rendimiento para un máximo rendimiento de procesamiento multimedia, con hasta 10 GPU en un chasis 4U
- GPU: Hasta 10 GPU Intel® serie Flex para centros de datos (en PCI-E 4.0 x16)
- CPU: Dos procesadores escalables Intel® Xeon® de 3ª generación
- Memoria: 32 módulos DIMM; hasta 8 TB, o 12 TB con memoria Intel® Optane® persistente
- Unidades: 24 bahías para unidades intercambiables en caliente de 2,5" (8x NVMe/8x SATA/8x SATA/SAS)
Entrega de medios optimizada
Sistema multinodo con alta densidad de computación optimizado para la transmisión de contenidos multimedia y juegos en la nube.
- GPU: Hasta 2 GPU Intel® serie Flex para centros de datos por nodo (en PCI-E 4.0 x16)
- CPU: Dos procesadores escalables Intel® Xeon® de 3ª generación por nodo
- Memoria: 20 módulos DIMM; hasta 4 TB, o 6 TB por nodo con memoria Intel® Optane® persistente
- Unidades: 6 bahías para unidades NVMe/SATA de 2,5" intercambiables en caliente por nodo
Optimizado para juegos en la nube
Sistema multinodo diseñado para configuraciones de GPU de alta densidad en un factor de forma 2U
- GPU: Hasta 3 GPU Intel® serie Flex para centros de datos por nodo (en PCI-E 4.0 x16)
- CPU: Un procesador escalable Intel® Xeon® de 3ª generación por nodo
- Memoria: 8 módulos DIMM; hasta 2 TB por nodo
- Unidades: 2 bahías para unidades U.2 NVMe de 2,5" intercambiables en caliente por nodo
Inferencia visual optimizada
Plataforma escalable con hasta 6 GPU diseñada para el procesamiento de IA de imágenes en la nube
- GPU: Hasta 6 GPU Intel® serie Flex para centros de datos por nodo (en PCI-E 4.0 x16/x8)
- CPU: Dos procesadores escalables Intel® Xeon® de 3ª generación
- Memoria: 16 módulos DIMM; hasta 4 TB, o 6 TB con memoria Intel® Optane® persistente
- Unidades: 12 bahías para unidades híbridas NVMe/SAS/SATA de 2,5"/3,5" intercambiables en caliente
Inferencia visual optimizada
Plataforma Edge compacta con hasta 2 GPU
- GPU: Hasta 2 GPU Intel® serie Flex para centros de datos
- CPU: Procesador escalable Intel® Xeon® de 3ª generación de hasta 32 núcleos
- Memoria: 8 módulos DIMM
- Unidades: 4 bahías para unidades SATA internas de 2,5
Inferencia visual optimizada para Edge
Plataforma Edge compacta de 1U con hasta 2 GPU
- GPU: Hasta 2 GPU Intel® serie Flex para centros de datos
- CPU: Procesador escalable Intel® Xeon® de 3ª generación de hasta 32 núcleos
- Memoria: 8 módulos DIMM
- Unidades: 2 bahías para unidades de 2,5" y 1 M.2 NVMe o 1 M.2 SATA3
Supermicro X14 Intel® Gaudi® AI Accelerator Cluster Reference Design
Accelerating and Driving Down the Cost of AI Solutions with Supermicro's X14 Intel® Gaudi® 3 Accelerator Based System by Building on Open-Source Software and Industry-Standard Ethernet
Supermicro with GAUDI 3 AI Delivers Scalable Performance for AI Requirements
Range of Optimized Solutions for Data Centers of Any Size and Workloads For New Services and Increased Customer Satisfaction
Supermicro and Intel GAUDI 3 Systems Advance Enterprise AI Infrastructure
High_Bandwidth AI System Using Intel Xeon 6 Processors for Efficient LLM and GenAI Training and Inference Across Enterprise Scales
Supermicro X13 Hyper Empowers Enterprise AI Workloads on the VMWARE Platform
Computational AI workload Use Cases: Large Language Model (LLM) and AI Image Recognition - ResNet50 on Intel® Data Center Flex 170 GPU
Accelerating AI Compute With Supermicro Servers In The INTEL® Developer Cloud
Supermicro Advanced AI Servers featuring Intel® Xeon® Processors and Intel® Gaudi® 2 AI Accelerators Bring High-Performance, High-efficiency AI Cloud Compute, Training, and Inferencing to Developers and Enterprises
Superior Media Processing and Delivery Solution Based On Supermicro Servers W/ Intel® Data Center GPU Flex Series
Supermicro Systems with Intel® Data Center GPU Flex Series
Supermicro TECHTalk: New Media Processing Solutions Based on Intel Data Center GPU Flex Series
Watch as our product experts discuss the new Supermicro solutions based on the just announced Intel Data Center GPU Flex Series. Learn how these solutions can help benefit you and your company.
Delivering Scalable Cloud-Gaming
Supermicro Systems with Intel® Data Center GPU Flex Series
Supermicro offers all the system components for cloud service providers to build green, cost-effective, and profitable cloud gaming infrastructure.
Innovative Solutions for Cloud Gaming, Media, Transcoding, & AI Inferencing
Sep 08 2022, 10:00am PDT
Supermicro and Intel product and solution experts will discuss, in an informal session, the benefits of the solutions in the areas of Cloud Gaming, Media Delivery, Transcoding, and AI Inferencing using the recently announced Intel Flex Series GPUs. The webinar will explain the advantages of the Supermicro solutions, the ideal servers and the benefits of using the Intel Flex Series GPUs.
Supermicro and Habana® High-Performance, High-Efficiency AI Training System
Enabling up to 40% better price/performance for Deep Learning training than traditional AI solutions