Nvidia: Neue Plattform soll KI-Analysen am Netzwerkrand beschleunigen

Der Grafikkarten-Hersteller Nvidia hat auf der Computex-Messe in Taipeh eine neue Plattform vorgestellt, um KI-Analysen (Künstliche Intelligenz) künftig auch an entfernten und schlecht angebundenen Standorten, dem sogenannten Netzwerk-Edge, zu ermöglichen. Der neue Enterprise-Grade Software Stack oder abgekürzt EGX ist mit allen Angeboten von Nvidia kompatibel, seien es die winzigen Jetson-Nano-Boards bis zu kompletten T4-Server-Racks, die unter anderem Spracherkennung vor Ort ermöglichen sollen.

Der grösste Vorteil der neuen Plattform ist, dass damit Aufgaben an den Netzwerkrand delegiert werden können, für die ansonsten erst die Daten in entfernte Rechenzentren transferiert werden müssten. Die Daten können also dort bleiben, wo sie entstehen und wo sie gesammelt werden. Nach Angaben von Nvidia lassen sich mit EGX auch komplexe Ergebnisse in Echtzeit erhalten. Das hat den Vorteil, dass nicht nur Berechnungen schneller durchgeführt werden können, sondern dass auch weniger Kosten durch teure Datenübertragungen anfallen.

EGX wurde zusammen mit Red Hat auf Basis von OpenShift entwickelt. Dabei handelt es sich um eine Enterprise-fähige Kubernetes-Plattform zur Orchestrierung und Verwaltung von Docker-Containern, die um den Edge Stack von Nvidia erweitert wurde. Dieser besteht unter anderem aus optimierten Grafikkarten-Treibern, einem Kubernetes-Plugin, einen CUDA-Stack (Compute Unified Device Architekturen), um verschiedene Aufgaben durch einen Grafikprozessor erledigen zu lassen und mehreren KI-fähigen Containern.

Zur Steuerung können entweder IoT Greengrass in AWS (Amazon Web Services) oder die IoT-Edge-Dienste in Microsoft Azure verwenden werden. Laut Nvidia wurde EGX auch auf Systemen der Netzwerkhersteller Mellanox und Cisco getestet, so dass die Plattform auch in lokalen Rechenzentren eingesetzt werden kann. Zu den ersten Kunden der neuen Plattform soll unter anderem der chinesische IT-Gigant Foxconn gehören, der sie laut Nvidia nutzt, um fehlerhafte Produkte in der Produktion schneller aufspüren zu können.