NVLink

NVLink ist NVIDIAs proprietäres Hochgeschwindigkeits-Interconnect, das mehrere GPUs mit Bandbreiten bis zu 900 GB/s (NVLink 4) direkt verbindet — deutlich schneller als PCIe. NVLink ist die Basis für NVIDIAs NVSwitch, mit dem bis zu 256 GPUs in einem GPU-Cluster ohne CPU-Umweg kommunizieren können. NVLink ist entscheidend für das Training sehr großer Sprachmodelle, bei denen die Synchronisation von Gradienten zwischen vielen GPUs zum Flaschenhals wird.