Digitalisierung & KI

Die eigene KI-Fabrik für den Mittelstand: Wann sich gemeinsame Rechenleistung wirklich lohnt

Eigene Server allein schaffen noch keine Datensicherheit. Der Beitrag zeigt Modelle, Kosten, Datenschutzfragen, Partnerregeln und einen abgesicherten 90-Tage-Pilot für gemeinsam finanzierte KI-Infrastruktur.

Von Frank Stegmaier · 4. September 2026

Kernaussage: Nicht jedes Unternehmen braucht ein eigenes KI-Rechenzentrum. Für eine Gruppe passender Unternehmen kann eine gemeinsam finanzierte Plattform jedoch Kosten, Datenkontrolle und Verhandlungsmacht verbessern – wenn Hardware geteilt, Daten und Verantwortlichkeiten aber konsequent getrennt werden.

Der Mittelstand steht vor einer neuen Abhängigkeit

Viele Unternehmen führen KI gerade über einzelne Nutzerkonten und externe Cloudangebote ein. Das ist schnell, bequem und für erste Tests oft sinnvoll. Doch mit wachsender Nutzung steigen drei Fragen auf die Geschäftsführungsebene:

• Was kosten hunderte oder tausende tägliche KI-Vorgänge auf Dauer?
• Welche Unternehmensdaten verlassen die eigene kontrollierte Umgebung?
• Was passiert, wenn Preise, Modelle, Bedingungen oder Verfügbarkeit eines Anbieters wechseln?

Die naheliegende Gegenidee lautet: Wir betreiben die KI selbst. Für ein einzelnes kleines Unternehmen ist das häufig zu teuer und komplex. Mehrere Partnerunternehmen könnten dagegen Rechenleistung, Betriebspersonal und Basistechnik gemeinsam finanzieren. So entsteht eine mittelständische KI-Computing-Einheit – vereinfacht gesagt eine gemeinsame KI-Fabrik.

Das Modell ist realistisch. Es ist aber kein bloßer Hardwarekauf. Wer nur Server bestellt, besitzt anschließend teure Technik, aber noch kein sicheres und wirtschaftliches KI-System.

Was gemeinsam betrieben wird – und was niemals vermischt werden darf

Die Partner können Gebäude- oder Rechenzentrumsfläche, GPU-Server, Netzwerk, Stromversorgung, Kühlung, Überwachung, Modellbereitstellung und technisches Fachpersonal teilen. Getrennt bleiben müssen:

• Unternehmensdaten und Dokumentenspeicher
• Nutzerverzeichnisse und Rollen
• Verschlüsselungsschlüssel
• Protokolle und Abrechnungsdaten
• Modellanpassungen mit vertraulichem Wissen
• Zugriffsrechte und Freigabeprozesse
• Sicherungen, Aufbewahrung und Löschung

Der richtige Grundsatz lautet deshalb: Gemeinsame Infrastruktur, getrennte Vertrauensräume. Eine Beteiligung an derselben Plattform darf keinem Partner Zugriff auf Daten, Prompts, Ausgaben oder Nutzungsprofile eines anderen Unternehmens geben.

Das Missverständnis über Training und Datenleaks

Es wäre falsch zu behaupten, Geschäftsdaten würden bei jedem professionellen KI-Dienst automatisch zum Training verwendet. OpenAI erklärt für ChatGPT Business, Enterprise und die API, dass Ein- und Ausgaben standardmäßig nicht zum Training der Modelle genutzt werden. Für bestimmte geeignete API-Szenarien bietet das Unternehmen zudem Zero Data Retention an. Andere Anbieter haben eigene Bedingungen, die im Einzelfall geprüft werden müssen.

Trotzdem bleiben bei externen Angeboten legitime Fragen: Wo wird verarbeitet? Wie lange werden Daten gespeichert? Wer administriert das System? Welche Unterauftragnehmer sind beteiligt? Welche technischen Protokolle entstehen? Was geschieht bei Fehlkonfigurationen, kompromittierten Konten oder unzulässigen Eingaben durch Beschäftigte?

Eine lokale oder dedizierte Umgebung reduziert bestimmte Übertragungs- und Anbieterabhängigkeiten. Sie beseitigt aber nicht das Risiko. Daten können auch intern durch falsche Rechte, unsichere Schnittstellen, Prompt Injection, schwache Passwörter, Schadsoftware oder schlecht getrennte Mandanten abfließen. NIST empfiehlt deshalb, Risiken generativer KI über Governance, Erfassung, Messung und laufendes Management zu behandeln. Auch der EU AI Act macht deutlich, dass Vertrauenswürdigkeit nicht allein aus dem Standort eines Servers entsteht.

Drei realistische Betriebsmodelle

In der Praxis ist häufig ein hybrides Modell überlegen: sensible, wiederkehrende Aufgaben laufen auf der gemeinsamen Plattform; seltene Spitzen, Spezialmodelle oder unkritische Aufgaben bleiben in einer externen Cloud. Dadurch muss die eigene Anlage nicht für den seltensten Maximalbedarf überdimensioniert werden.

Wann wird das Modell wirtschaftlich?

Die entscheidende Zahl ist nicht der Kaufpreis eines GPU-Servers, sondern der vollständige Preis pro produktivem KI-Vorgang. In die Rechnung gehören:

• Hardware, Finanzierung und Wertverlust
• Strom, Kühlung und Rechenzentrumsfläche
• Netzwerk, Speicher, Backups und Ausfallsicherheit
• Lizenzen und Support
• Betrieb, Updates, Monitoring und Bereitschaft
• Informationssicherheit, Datenschutz und Audits
• Entwicklung der Anwendungen und Integration in Unternehmenssysteme
• Reservekapazität und ungenutzte Zeiten
• Ausfall- und Migrationsrisiko

Break-even-Nutzung = jährliche Vollkosten der gemeinsamen Plattform ÷ vermeidbare externe Kosten pro produktiver Einheit

Die „produktive Einheit“ muss zum Anwendungsfall passen: verarbeitetes Dokument, qualifizierter Vorgang, erzeugtes Angebot oder eine Million Modell-Tokens. Entscheidend ist eine real gemessene Baseline aus Rechnungen und Nutzungsprotokollen – keine Schätzung aus Bauchgefühl.

Eigene Infrastruktur gewinnt typischerweise bei hoher, stetiger Auslastung. Externe Dienste gewinnen bei kleinen Mengen, schnellen Technologiesprüngen und stark schwankender Nachfrage. Die Partnerschaft kann die Auslastung glätten, weil nicht alle Unternehmen zur selben Zeit dieselbe Last erzeugen. Sie kann aber auch neue Spitzen schaffen. Daher braucht es Messdaten vor der Investition.

Nicht gleich ein eigenes Grundmodell trainieren

Für fast alle mittelständischen Verbünde ist es wirtschaftlich unsinnig, von null ein großes Sprachmodell zu trainieren. Der bessere Start ist:

• ein geeignetes offen verfügbares Modell rechtlich und technisch prüfen,
• es in einer kontrollierten Umgebung für Inferenz betreiben,
• Unternehmenswissen über eine getrennte, berechtigungsgesteuerte Wissenssuche anbinden,
• nur bei nachgewiesenem Bedarf gezielt anzupassen,
• Qualität, Kosten und Risiken gegen externe Alternativen zu benchmarken.

NVIDIA beschreibt mit DGX BasePOD beispielhaft, dass skalierbare Unternehmens-KI nicht nur aus Rechenknoten besteht, sondern auch schnelles Netzwerk, Speicher, Software und Betriebswerkzeuge benötigt. Ein Mittelstandsverbund muss nicht zwingend dieses Produkt wählen; die Referenz zeigt jedoch, welche Infrastrukturkomponenten in einer professionellen Plattform zusammenwirken.

Die Partnergesellschaft braucht klare Regeln

Technik allein löst keinen Interessenkonflikt. Vor Bestellung der Hardware müssen die Partner mindestens folgende Punkte vertraglich klären:

• Eigentum an Hardware, Plattformsoftware, Entwicklungen und Verbesserungen
• Beiträge, Kapazitätsrechte und Abrechnung
• Mindestabnahme und Umgang mit Unterauslastung
• Prioritäten bei Kapazitätsengpässen
• Verantwortung für Sicherheit, Datenschutz und Störungen
• Audit-, Informations- und Kontrollrechte
• Aufnahme neuer Partner
• Wettbewerbs- und Kartellrechtsprüfung
• Austritt, Insolvenz oder Verkauf eines Partners
• Datenexport, Löschung und Betriebsfortführung beim Ende der Kooperation

Besonders wichtig: Ein gemeinsamer Betreiber verarbeitet möglicherweise personenbezogene oder vertrauliche Daten für mehrere Unternehmen. Rollen, Weisungsrechte, Verträge, technische Maßnahmen und gegebenenfalls Datenschutz-Folgenabschätzungen müssen mit Fachleuten geprüft werden. Auch die konkrete Nutzung nach dem EU AI Act hängt vom Einsatzgebiet und der Rolle des jeweiligen Unternehmens ab.

Eine sichere Zielarchitektur in neun Bausteinen

• getrennte Mandanten oder – bei sehr hohem Schutzbedarf – getrennte technische Umgebungen
• zentrale Identitätsverwaltung mit Mehrfaktor-Authentifizierung
• fein abgestufte Rollen und Freigaben
• Verschlüsselung bei Übertragung und Speicherung; Schlüsseltrennung je Partner
• Datenklassifizierung und verbindliche Eingaberegeln
• gesicherte Modell-Schnittstelle mit Filtern, Kontingenten und Protokollierung
• laufende Überwachung von Kapazität, Sicherheit, Qualität und Kosten
• getestete Backups, Notfallbetrieb und Wiederanlauf
• unabhängige Sicherheits- und Mandantentrennungstests vor Produktivstart

Für hochsensible Daten kann eine logisch getrennte Mehrmandantenplattform unzureichend sein. Dann müssen getrennte Cluster oder physisch getrennte Komponenten gegen die Mehrkosten abgewogen werden.

So starten fünf Partner, ohne sich sofort zu übernehmen

Phase 1: 30 Tage messen. Jedes Unternehmen wählt zwei bis drei konkrete Prozesse, beispielsweise Angebotserstellung, Dokumentensuche, Serviceantworten oder technische Dokumentation. Erfasst werden Volumen, Bearbeitungszeit, aktuelle Kosten, Datenklasse, Qualitätsanforderung und Spitzenlast.

Phase 2: 30 Tage vergleichen. Die Partner testen dieselben Aufgaben auf mindestens einer professionellen externen Lösung und einem lokal oder dediziert betriebenen Modell. Gemessen werden Ergebnisqualität, Geschwindigkeit, Vollkosten, Integrationsaufwand und Sicherheitsanforderungen.

Phase 3: 30 Tage pilotieren. Ein klar begrenzter gemeinsamer Pilot startet mit nichtkritischen oder pseudonymisierten Daten. Getrennte Zugänge, Protokolle und Kostenstellen werden von Anfang an eingerichtet. Die Partner bestellen noch keine große Zielplattform, sondern validieren Betrieb und Zusammenarbeit.

Investitionsentscheidung. Erst danach fällt ein Gate:

• Go: Qualität ausreichend, planbare Auslastung, belastbarer Kostenvorteil, sichere Trennung.
• Hybrid: sensible oder konstante Last lokal; Spitzen und Spezialaufgaben extern.
• No-Go: externe Business-Lösung bleibt günstiger oder sicherer; Erkenntnisse werden trotzdem in bessere Governance umgesetzt.

Die sieben Fragen vor dem ersten Euro

• Welche drei Prozesse erzeugen heute die höchsten vermeidbaren KI- oder Personalkosten?
• Welche Daten dürfen die kontrollierte Umgebung tatsächlich nicht verlassen?
• Wie viele produktive Vorgänge fallen pro Monat an – und zu welchen Spitzen?
• Welches Qualitätsniveau erreichen geeignete lokale Modelle im direkten Test?
• Wer betreibt die Plattform nachts, am Wochenende und bei Sicherheitsvorfällen?
• Wie werden Partner technisch, rechtlich und wirtschaftlich voneinander getrennt?
• Was ist der definierte Exit, wenn Technologie oder Kooperation nicht funktioniert?

Fazit: Souveränität beginnt mit Messung, nicht mit dem Serverkauf

Eine gemeinsam betriebene KI-Computing-Einheit kann für den Mittelstand zu einem strategischen Vermögenswert werden. Sie kann sensible Prozesse stärker kontrollierbar machen, Know-how bündeln, Anbieterabhängigkeit reduzieren und bei hoher Auslastung Kosten senken.

Aber sie lohnt sich nicht, weil „Cloud grundsätzlich schlecht“ oder „eigene Hardware automatisch sicher“ wäre. Sie lohnt sich nur, wenn fünf Bedingungen zusammenkommen: geeignete Anwendungsfälle, messbare Dauerlast, ausreichende Modellqualität, professionelle Sicherheit und eine belastbare Partner-Governance.

Der klügste erste Schritt ist deshalb kein Millioneninvestment. Es ist ein gemeinsamer 90-Tage-Pilot mit echten Messwerten.