Mellanox/NVIDIA Networking: InfiniBand & High-Speed-Ethernet für KI- und HPC-Umgebungen

In KI-Trainingsclustern und HPC-Umgebungen entscheidet längst nicht mehr nur die Rechenleistung einzelner GPUs über die Gesamtperformance, sondern zunehmend auch das Netzwerk, das diese GPUs miteinander verbindet. Mellanox, heute Teil von NVIDIA, zählt zu den prägenden Herstellern in diesem Bereich und hat die technische Grundlage für viele der heute größten KI-Trainingscluster mitgeschaffen.

Dieser Beitrag ordnet die wichtigsten Mellanox- und NVIDIA-Networking-Produkte ein, erklärt den Unterschied zwischen InfiniBand und High-Speed-Ethernet und zeigt, worauf Sie beim Kauf gebrauchter Hardware achten sollten.

Von Mellanox zu NVIDIA Networking: die Übernahme und ihre Logik

NVIDIA übernahm Mellanox im Jahr 2020 und sicherte sich damit einen der führenden Hersteller von Hochleistungsnetzwerktechnik. Die Logik dahinter liegt im Training großer KI-Modelle begründet, das über GPU-Server verteilt wird, ähnlich wie bei den Systemen, die wir in unserem Beitrag zu Supermicro Servern und GPUs beschrieben haben. Wenn tausende GPUs im Verbund rechnen, wird das Netzwerk zwischen ihnen zu einem ebenso kritischen Leistungsfaktor wie die GPUs selbst.

InfiniBand: der etablierte Standard für Höchstleistungs-Cluster

Wie InfiniBand sich von klassischem Ethernet unterscheidet

InfiniBand wurde von Grund auf für extrem niedrige Latenz und nativen RDMA-Zugriff entwickelt, bei dem Daten direkt zwischen Arbeitsspeichern verschiedener Server ausgetauscht werden, ohne den Umweg über den Prozessor. Diese Eigenschaften machen InfiniBand seit Jahren zum bevorzugten Standard für HPC-Cluster und zunehmend auch für KI-Training, insbesondere wenn tausende Knoten synchron miteinander kommunizieren müssen.

Die Quantum-Switch-Serie im Überblick

Die Quantum-Serie bildet das aktuelle InfiniBand-Switch-Portfolio von NVIDIA.

ConnectX-Adapter als Bindeglied zum Server

Auf Serverseite verbinden ConnectX-Netzwerkadapter die einzelnen Systeme mit der InfiniBand-Fabric oder wahlweise mit Ethernet, häufig mit Unterstützung für beide Standards auf derselben Karte. Diese Flexibilität erleichtert es, eine bestehende Umgebung schrittweise zu erweitern, ohne sich von Anfang an endgültig auf eine einzige Netzwerktechnologie festlegen zu müssen.

High-Speed-Ethernet als Alternative: die Spectrum-Serie

Spectrum-Switches für klassische und KI-optimierte Rechenzentren

Neben InfiniBand bietet NVIDIA mit der Spectrum-Serie leistungsstarke Ethernet-Switches an, die sich sowohl für klassische Rechenzentrumsnetze als auch für KI-optimierte Fabrics eignen. Im Vergleich zu Ansätzen wie Arista-DCS-Switches setzt NVIDIA dabei stark auf die enge Abstimmung zwischen Switch, Netzwerkadapter und GPU.

RoCE als Brücke zwischen Ethernet und RDMA-Performance

RoCE überträgt das RDMA-Prinzip von InfiniBand auf Ethernet-Netzwerke und schließt damit einen großen Teil der Latenzlücke zwischen beiden Technologien, ohne auf bestehende Ethernet-Infrastruktur verzichten zu müssen.

BlueField-DPUs: Networking, Storage und Security ausgelagert

BlueField-DPUs entlasten den Hauptprozessor eines Servers, indem sie Netzwerk-, Storage- und Sicherheitsaufgaben direkt auf einer eigenen, programmierbaren Karte übernehmen. Dieser Ansatz gewinnt gerade in großen KI-Umgebungen an Bedeutung, da er wertvolle CPU-Ressourcen für die eigentliche Rechenlast freihält, statt sie mit Netzwerk- und Sicherheitsfunktionen zu belegen, die genauso gut auf spezialisierter Hardware laufen können.

InfiniBand vs. High-Speed-Ethernet

Die folgende Übersicht fasst die wichtigsten Unterschiede zusammen:

Kriterium	InfiniBand	High-Speed-Ethernet
Latenz	Sehr niedrig, nativ für RDMA ausgelegt	Niedrig, mit RoCE nahe an InfiniBand
Ökosystem	Speziell für HPC und KI-Cluster	Breit etabliert, viele Werkzeuge
Switch-Serie	Quantum	Spectrum
Typischer Einsatz	Dedizierte KI-Trainingscluster	Gemischte Rechenzentrumsumgebungen

Für welchen Einsatzzweck lohnt sich welche Technologie?

InfiniBand für dedizierte KI-Trainingscluster

Wer ein dediziertes Cluster für das Training großer KI-Modelle aufbaut, profitiert meist am stärksten von InfiniBand, da hier die niedrigste erreichbare Latenz direkten Einfluss auf die Trainingsgeschwindigkeit hat.

Ethernet-basierte Fabrics für gemischte Umgebungen

Für gemischte Umgebungen, die sowohl klassische IT-Workloads als auch KI-Anwendungen bedienen, ist eine Ethernet-basierte Fabric mit RoCE oft die praktikablere Wahl, da sie sich einfacher in bestehende Netzwerkstrukturen integrieren lässt.

Worauf Sie beim Kauf gebrauchter Mellanox/NVIDIA-Networking-Hardware achten sollten

Vier Prüfpunkte helfen bei der sicheren Kaufentscheidung für gebrauchte InfiniBand- oder Ethernet-Hardware.

Generation und Geschwindigkeitsklasse genau prüfen

Bestimmen Sie genau, welche InfiniBand-Generation oder welche Ethernet-Geschwindigkeit ein Gerät unterstützt, da sich die Leistungsfähigkeit zwischen den Generationen erheblich unterscheidet.

Firmware- und Support-Kompatibilität

Klären Sie vor dem Kauf, ob die vorhandene Firmware zu Ihrer geplanten Umgebung passt. Allgemeine Hinweise zur Firmware-Situation bei gebrauchter Netzwerktechnik finden Sie in unserem Beitrag Lizenzen und Firmware bei gebrauchter Netzwerktechnik.

End-of-Life-Status

Auch Networking-Hardware von Mellanox und NVIDIA unterliegt einem Support-Lebenszyklus. Die allgemeinen Meilensteine dazu erklären wir in EOL, EOS und End of Support erklärt.

Zertifizierte Datenlöschung

Gebrauchte Switches und Adapter können noch Konfigurationsdaten des Vorbesitzers enthalten. Achten Sie auf eine dokumentierte, zertifizierte Datenlöschung vor der Weitergabe.

Fazit

InfiniBand bleibt für dedizierte KI- und HPC-Cluster mit höchsten Latenzanforderungen der Referenzstandard, während High-Speed-Ethernet mit RoCE für gemischte Umgebungen zunehmend eine ernstzunehmende Alternative darstellt. Gebrauchte Mellanox- und NVIDIA-Networking-Hardware bietet dabei oft ein attraktives Preis-Leistungs-Verhältnis, solange Generation, Firmware und Support-Status sorgfältig geprüft werden, bevor Sie eine größere Investition in eine bestimmte Fabric-Technologie tätigen.

Gerne beraten wir Sie zur passenden InfiniBand- oder Ethernet-Konfiguration für Ihren KI- oder HPC-Cluster aus unserem aktuellen, geprüften Bestand.

Hinweis zu diesem Beitrag: Inhalte auf diesem Blog werden mit Unterstützung von KI-Tools erstellt und von unserem Redaktionsteam recherchiert, fachlich geprüft und freigegeben.