Künstliche Intelligenz (KI) ist längst ein zentraler Bestandteil vieler Branchen geworden, und ihre Einsatzgebiete erstrecken sich von datenintensiven Forschungsanwendungen bis hin zur Automatisierung von Geschäftsprozessen. Doch was vielen Unternehmen – vor allem im Bereich der kleinen und mittelständischen Unternehmen (KMUs) sowie der klassischen Enterprise-IT – oft nicht bewusst ist: Die für KI-Anwendungen benötigte Hardware und Infrastruktur, ist für sie bei weitem nicht so zugänglich und flexibel für sie wie für Hyperscaler (z.B. Google, AWS, Azure). Diese Diskrepanz schafft eine ungleiche Basis, die weit über die Kosten hinausgeht und die Innovationskraft von KMUs und Enterprise-Unternehmen systematisch einschränkt.

In diesem Artikel möchten wir anhand des Beispiels der Optimierung von Storage-Lösungen im Kontext von KI verdeutlichen, wie schwer es für normale Unternehmen ist, gegen die Hyperscaler mitzuhalten, und warum es oft sicht sinnvoll ist, selbst Infrastruktur aufzubauen.

Google Datacenter

Die KI-Datenpipeline und die hohen Anforderungen an Storage-Systeme

Für die meisten KI-Anwendungen sind große Datenmengen erforderlich, die oft nicht nur gesammelt und gespeichert, sondern auch effizient verarbeitet, ausgewertet und archiviert werden müssen. Diese komplexe Pipeline stellt spezifische Anforderungen an Speicherlösungen, die Hyperscaler durch spezialisierte Hardwarelösungen erfüllen können. Um dies zu verdeutlichen, werden nachfolgend die verschiedenen Phasen der KI-Datenpipeline beschrieben:

  1. Datenerfassung und Vorverarbeitung: In dieser Phase werden große Mengen an Rohdaten gesammelt und zentralisiert, häufig in sogenannten Data Lakes. Das sind große, zentrale Repositorys, die zum Speichern und Verarbeiten großer Datenmengen genutzt werden. Die Anforderungen an den Speicher umfassen hohe Aggregatleistung, Skalierbarkeit, Kosteneffizienz, Redundanz, Sicherheit und Interoperabilität. Hyperscaler nutzen hierfür hochredundanten Cloud-Objektspeicher, der für KMUs und auch für große Enterprise-Kunden oft nicht in gleichem Maße zugänglich sind, weil hier eigene Hardware entwickelt wird, die für diese Data-Loads maßgeschneidert ist.
  2. Modelltraining und -verarbeitung: Diese Phase erfordert extreme Leistung mit hohem Durchsatz und schnellen Lese-/Schreibgeschwindigkeiten, um GPUs effizient mit Daten zu versorgen. Zuverlässigkeit und benutzerfreundliche Schnittstellen sind ebenfalls entscheidend. Hyperscaler trainieren ihre Modelle in der Cloud und nutzen dabei zahlreiche GPUs. Kuratierte Datensätze werden aus dem Objektspeicher der Cloud auf lokale NVMe-SSDs kopiert. Dieses Problem könnte theoretisch durch erhebliche Investitionen gelöst werden, da OEM-Hersteller entsprechende Lösungen anbieten, allerdings ist das für viele Non-Hyperscaler eine wirtschaftlich kaum tragbare Option.
  3. Inferenz und Modellbereitstellung: In dieser Phase werden die trainierten Modelle eingesetzt, um Vorhersagen oder Entscheidungen auf Basis neuer Daten zu treffen. Dies erfordert schnelle, missionskritische Speicherlösungen mit hoher Geschwindigkeit, Leistungsskalierbarkeit und Sicherheitsmaßnahmen. Hyperscaler nutzen hierfür häufig maßgeschneiderte Dateisysteme oder NAS, während KMUs oft mit weniger flexiblen Lösungen arbeiten müssen.
  4. Archivierung: Nach Abschluss des Trainings müssen verschiedene Artefakte wie unterschiedliche Trainingsdatensätze und Modellversionen langfristig gespeichert werden. Das erfordert robuste Langlebigkeit, Online-Abrufbarkeit und Kosteneffizienz. Hyperscaler setzen hierfür auf Online-Massenkapazitäts-Objektspeicher auf Basis von HDDs oder von HDDs vorgeschaltetem Band. Auch diese Lösung wäre für viele Unternehmen mit entsprechendem Kapital durchaus machbar, da OEM-Hersteller passende Lösungen dafür anbieten.
Erfahren Sie mehr

Ihr Wartungsspezialist im DataCenter

Durch Jahrzehnte lange Erfahrung wissen wir worauf es in Ihrem Data Center ankommt. Profitieren Sie nicht nur von unserer Erfahrung, sondern auch von unseren ausgezeichneten Preisen. Holen Sie sich ein unverbindliches Angebot und vergleichen Sie selbst.

Erfahren Sie mehr

Die Hyperscaler-Vorteile: ODM-basierte Hardwarelösungen

Hyperscaler setzen häufig auf ODM-Hardware (Original Design Manufacturer) wie die von Quanta oder Supermicro. Diese maßgeschneiderten Server-, Storage- und Netzwerklösungen können spezifische Anforderungen einer KI-Datenpipeline abdecken. Unternehmen wie Quanta bieten dabei hochflexible Hardwarelösungen, die von Hyperscalern in Zusammenarbeit mit ihren Infrastrukturteams angepasst und optimal für ihre Workloads zugeschnitten werden.

Für KMUs und Unternehmen, die keine sehr hohen Stückzahlen bestellen, bleibt dieser Weg oft versperrt. Sie greifen auf die Produkte klassischer OEM-Hersteller wie NetApp oder Dell EMC zurück, die zwar zuverlässig, jedoch bei weitem nicht so flexibel sind wie maßgeschneiderte ODM-Lösungen. Die Folge ist eine Universal-Storage-Lösung, die versucht, allen Anforderungen gerecht zu werden – mit Kompromissen bei Leistung und Flexibilität.

Herausforderungen für KMUs und Enterprise-Unternehmen

Während Hyperscaler ihre Infrastruktur bis ins Detail optimieren können, stoßen KMUs und die meisten Unternehmen mit den angebotenen Lösungen schnell an ihre Grenzen. Klassische On-Premises-Lösungen decken zwar einen Großteil der Anforderungen ab, doch im KI-Bereich führt dies schnell zu einem Flaschenhals. Die schnelle Weiterentwicklung im Hyperscaler-Bereich verstärkt die Kluft, denn ODM-basierte Innovationen und Skalierungsmöglichkeiten sind für die meisten Non-Hyperscaler einfach nicht realisierbar.

Erfahren Sie mehr

Verlängern Sie die Lebensdauer Ihrer NetApp Hardware

Mit unserer End of Life Wartung verlängern Sie die Lebensdauer Ihrer NetApp-Produkte und steigern so den ROI.

Erfahren Sie mehr

Ein Blick auf die Zukunft

Die Diskrepanz in der Infrastruktur zwischen Hyperscalern und der KMU- oder Enterprise-Welt stellt eine große Herausforderung dar. Während Hyperscaler dank ODM-Partnerschaften und Anpassungen ihre Infrastruktur genau auf die jeweiligen Workloads zuschneiden können, stehen KMUs und Enterprise-Unternehmen oft vor einer „One-size-fits-all“-Lösung. Hier besteht Bedarf für neue Lösungen, die ein universelles Storage-System mit der Flexibilität und Skalierbarkeit verbinden, die auch KMUs Zugang zur vollen Leistungsfähigkeit von KI-Anwendungen verschaffen kann.

Was denkt Hardwarewartung 24?

Wir beobachten gerade im KI-Umfeld der Hyperscaler eine sehr starke Hyper-Spezialisierung. Es wird alles auf jede Millisekunde und jedes Bit optimiert. Workloads, die früher auf einfachen CPUs bearbeitet worden wären, werden teilweise auf eigenen ASICs ausgeführt, damit die Verarbeitung der LLM-Daten noch schneller durchgeführt werden kann. Auch wenn wir nur sehr wenig Einblick in die Rechenzentren der Hyperscaler haben, sehen wir anhand der Quartalsberichte von Quanta, Inventec oder Supermicro, wie rasant die Entwicklung voranschreitet. Durch unser Wartungsgeschäft mit Supermicro sehen wir auch die schnell wachsende Anzahl an neuen Komponenten, die für sehr spezifische Use-Cases produziert werden.

Wenn man einen Schritt zurücktritt, sollte man diese Entwicklung vielleicht mit der damaligen Entwicklung der Telekommunikationsmärkte vergleichen. Es wird sich meist nicht lohnen, ein eigenes Rechenzentrum für die eigenen KI-Anwendungen zu betreiben. Vielmehr werden die Hyperscaler zu Commodity-Anbietern für KI-Workloads. Wir denken, dass in den nächsten Jahren einige OEM-Hersteller Hybrid-Cloud-Lösungen anbieten werden, bei denen KI-Workloads über Edge Computing vorbearbeitet und dann in der Cloud verarbeitet werden. Möglicherweise werden sich auch neue Anbieter für Security Edge Computing etablieren, die die Daten anonymisieren oder verschlüsseln, damit sensible Unternehmensdaten nicht über die Hyperscaler-Clouds missbraucht werden können.

Auch wenn es unser Kerngeschäft beflügeln würde, raten wir allen KMUs oder Enterprise-Kunden davon ab, größere eigene Infrastrukturen für ihre eigenen KI-Modelle aufzubauen. Eigene Inferenzlösungen zu entwickeln ist allerdings in einigen Fällen sinnvoll, da es noch keine ausreichenden Sicherheitsmethoden zum Schutz der eigenen Daten gibt.

Erfahren Sie mehr

Ihr Wartungsspezialist für alle großen Hardware Hersteller

Durch Jahrzehnte lange Erfahrung wissen wir worauf es bei der Wartung Ihrer Data Center Hardware ankommt. Profitieren Sie nicht nur von unserer Erfahrung, sondern auch von unseren ausgezeichneten Preisen. Holen Sie sich ein unverbindliches Angebot und vergleichen Sie selbst.

Erfahren Sie mehr