Nvidia introduceerde DGX GH200-supercomputer met 256 Grace-cpu’s en H100-gpu’s – Computer – Nieuws

Nvidia meldt tijdens Computex dat zijn Grace Hopper-‘superchips’ voor datacenters nu volledig in productie zijn. Het bedrijf toont een DGX GH200-supercomputer, die bestaat uit dergelijke chips en beschikt over meer dan 144TB gedeeld geheugen.

De Nvidia DGX GH200 meer dan 256 Grace Hopper-superchips. Dat zijn chips een H100-gpu combineren met een Nvidia Grace-cpu op een enkele module van ongeveer 200 miljard transistors. Elke Grace Hopper-superchip heeft 72 Neoverse V2-cpu-cores en 16.896 CUDA-cores, 96GB HBM3-geheugen en 480GB Lpddr5-geheugen. betrokken krijgt het hele DGX GH200-systeem in totaal 18.432 cpu-cores, ruim 4,3 miljoen CUDA-cores en 144TB gedeeld geheugen.

De Grace Hopper-superchips kunnen worden verbonden met Nvidia’s eigen NVLink-interconnect, waarmee alle gpu’s elkaars geheugen kunnen benaderen. beheerde het systeem als een enkele gpu. Voor die NVLink-interconnect kunnen 96 L1-switches en 32 L2-switches worden gebruikt, meldt de fabrikant. Nvidia zegt dat de gpu-naar-gpu-bandbreedte 900GB/s bedraagt. Ter illustratie: een PCIe 5.0 x16-gpu heeft een breedte van ongeveer 63GB/s.

Nvidia zegt dat de DGX H200 bedoeld is voor grote AI-workloads. Het systeem is ontstaan ​​door de fabrikant over ‘1 exaflop’ aan fp8-rekenkracht. De fabrikanten delen geen prestatiecijfers voor andere rekenformaten. Het bedrijf deelt enkele benchmarks waarin de DGX GH200 volgde met een huidig ​​DGX A100-systeem, meldt Tom’s Hardware. Geleidelijk is het nieuwe DGX GH200-systeem 2,2 tot 6,3x sneller. De huidige DGX A100-systemen hebben echter meer dan 32 tot 256 A100-gpu’s opgeleverd, afhankelijk van de benchmark. Nvidia’s DGX GH200-systeem verwerkt in alle uitgevoerde benchmarks over 256 gpu’s.

Volgens de fabrikant krijgen Google Cloud, Meta en Microsoft als eerste toegang tot de DGX GH200-supercomputer. Op termijn zal Nvidia de blauwdruk voor het systeem beschikbaar stellen aan cloudproviders en andere hyperscalers. De DGX GH200 moet eind dit jaar optreden. De fabrikant deelt geen prijs.

Nvidia gaat zelf nog een Helios-supercomputer bouwen die vier DGX GH200-systemen vervangen. Die vier systemen, die mogelijk worden gemaakt over 1024 Grace Hopper-superchips, kunnen worden verbonden met Nvidia’s Quantum-2 InfiniBand met een bandbreedte van 400Gbit/s. Dat systeem moet eind dit jaar online komen.

Bron: Nvidia, Toms hardware