Storage-Optimierung für KI-Anwendungen: Warum KMUs und Enterprise-Unternehmen strukturell im Nachteil sind

Künstliche Intelligenz (KI) ist längst ein zentraler Bestandteil vieler Branchen geworden, und ihre Einsatzgebiete erstrecken sich von datenintensiven Forschungsanwendungen bis hin zur Automatisierung von Geschäftsprozessen. Doch was vielen Unternehmen – vor allem im Bereich der kleinen und mittelständischen Unternehmen (KMUs) sowie der klassischen Enterprise-IT – oft nicht bewusst ist: Die für KI-Anwendungen benötigte Hardware und Infrastruktur, ist für sie bei weitem nicht so zugänglich und flexibel für sie wie für Hyperscaler (z.B. Google, AWS, Azure). Diese Diskrepanz schafft eine ungleiche Basis, die weit über die Kosten hinausgeht und die Innovationskraft von KMUs und Enterprise-Unternehmen systematisch einschränkt.

In diesem Artikel möchten wir anhand des Beispiels der Optimierung von Storage-Lösungen im Kontext von KI verdeutlichen, wie schwer es für normale Unternehmen ist, gegen die Hyperscaler mitzuhalten, und warum es oft sicht sinnvoll ist, selbst Infrastruktur aufzubauen.

Die KI-Datenpipeline und die hohen Anforderungen an Storage-Systeme

Für die meisten KI-Anwendungen sind große Datenmengen erforderlich, die oft nicht nur gesammelt und gespeichert, sondern auch effizient verarbeitet, ausgewertet und archiviert werden müssen. Diese komplexe Pipeline stellt spezifische Anforderungen an Speicherlösungen, die Hyperscaler durch spezialisierte Hardwarelösungen erfüllen können. Um dies zu verdeutlichen, werden nachfolgend die verschiedenen Phasen der KI-Datenpipeline beschrieben:

1. Datenerfassung und Vorverarbeitung: In dieser Phase werden große Mengen an Rohdaten gesammelt und zentralisiert, häufig in sogenannten Data Lakes. Das sind große, zentrale Repositorys, die zum Speichern und Verarbeiten großer Datenmengen genutzt werden. Die Anforderungen an den Speicher umfassen hohe Aggregatleistung, Skalierbarkeit, Kosteneffizienz, Redundanz, Sicherheit und Interoperabilität. Hyperscaler nutzen hierfür hochredundanten Cloud-Objektspeicher, der für KMUs und auch für große Enterprise-Kunden oft nicht in gleichem Maße zugänglich sind, weil hier eigene Hardware entwickelt wird, die für diese Data-Loads maßgeschneidert ist.
2. Modelltraining und -verarbeitung: Diese Phase erfordert extreme Leistung mit hohem Durchsatz und schnellen Lese-/Schreibgeschwindigkeiten, um GPUs effizient mit Daten zu versorgen. Zuverlässigkeit und benutzerfreundliche Schnittstellen sind ebenfalls entscheidend. Hyperscaler trainieren ihre Modelle in der Cloud und nutzen dabei zahlreiche GPUs. Kuratierte Datensätze werden aus dem Objektspeicher der Cloud auf lokale NVMe-SSDs kopiert. Dieses Problem könnte theoretisch durch erhebliche Investitionen gelöst werden, da OEM-Hersteller entsprechende Lösungen anbieten, allerdings ist das für viele Non-Hyperscaler eine wirtschaftlich kaum tragbare Option.
3. Inferenz und Modellbereitstellung: In dieser Phase werden die trainierten Modelle eingesetzt, um Vorhersagen oder Entscheidungen auf Basis neuer Daten zu treffen. Dies erfordert schnelle, missionskritische Speicherlösungen mit hoher Geschwindigkeit, Leistungsskalierbarkeit und Sicherheitsmaßnahmen. Hyperscaler nutzen hierfür häufig maßgeschneiderte Dateisysteme oder NAS, während KMUs oft mit weniger flexiblen Lösungen arbeiten müssen.
4. Archivierung: Nach Abschluss des Trainings müssen verschiedene Artefakte wie unterschiedliche Trainingsdatensätze und Modellversionen langfristig gespeichert werden. Das erfordert robuste Langlebigkeit, Online-Abrufbarkeit und Kosteneffizienz. Hyperscaler setzen hierfür auf Online-Massenkapazitäts-Objektspeicher auf Basis von HDDs oder von HDDs vorgeschaltetem Band. Auch diese Lösung wäre für viele Unternehmen mit entsprechendem Kapital durchaus machbar, da OEM-Hersteller passende Lösungen dafür anbieten.

Die Hyperscaler-Vorteile: ODM-basierte Hardwarelösungen

Hyperscaler setzen häufig auf ODM-Hardware (Original Design Manufacturer) wie die von Quanta oder Supermicro. Diese maßgeschneiderten Server-, Storage- und Netzwerklösungen können spezifische Anforderungen einer KI-Datenpipeline abdecken. Unternehmen wie Quanta bieten dabei hochflexible Hardwarelösungen, die von Hyperscalern in Zusammenarbeit mit ihren Infrastrukturteams angepasst und optimal für ihre Workloads zugeschnitten werden.

Für KMUs und Unternehmen, die keine sehr hohen Stückzahlen bestellen, bleibt dieser Weg oft versperrt. Sie greifen auf die Produkte klassischer OEM-Hersteller wie NetApp oder Dell EMC zurück, die zwar zuverlässig, jedoch bei weitem nicht so flexibel sind wie maßgeschneiderte ODM-Lösungen. Die Folge ist eine Universal-Storage-Lösung, die versucht, allen Anforderungen gerecht zu werden – mit Kompromissen bei Leistung und Flexibilität.

Herausforderungen für KMUs und Enterprise-Unternehmen

Während Hyperscaler ihre Infrastruktur bis ins Detail optimieren können, stoßen KMUs und die meisten Unternehmen mit den angebotenen Lösungen schnell an ihre Grenzen. Klassische On-Premises-Lösungen decken zwar einen Großteil der Anforderungen ab, doch im KI-Bereich führt dies schnell zu einem Flaschenhals. Die schnelle Weiterentwicklung im Hyperscaler-Bereich verstärkt die Kluft, denn ODM-basierte Innovationen und Skalierungsmöglichkeiten sind für die meisten Non-Hyperscaler einfach nicht realisierbar.

Ein Blick auf die Zukunft

Die Diskrepanz in der Infrastruktur zwischen Hyperscalern und der KMU- oder Enterprise-Welt stellt eine große Herausforderung dar. Während Hyperscaler dank ODM-Partnerschaften und Anpassungen ihre Infrastruktur genau auf die jeweiligen Workloads zuschneiden können, stehen KMUs und Enterprise-Unternehmen oft vor einer „One-size-fits-all“-Lösung. Hier besteht Bedarf für neue Lösungen, die ein universelles Storage-System mit der Flexibilität und Skalierbarkeit verbinden, die auch KMUs Zugang zur vollen Leistungsfähigkeit von KI-Anwendungen verschaffen kann.