On-Premise AI-Softwareentwicklung: Kontrolle über Code, Modelle und Delivery

„Wir brauchen das On-Premise“ ist selten eine technische Anforderung. Meistens steckt dahinter eine Sorge: Wohin fließen unsere Daten, und wer kann uns den Hahn zudrehen? Beide Fragen lassen sich beantworten – aber nur, wenn man die Entwicklungskette in Ebenen zerlegt, die unabhängig voneinander entschieden werden.

1. Die falsch gestellte Frage

„On-Premise oder Cloud“ suggeriert eine Entscheidung. Tatsächlich sind es fünf – und in den meisten Häusern fällt die Antwort je Ebene unterschiedlich aus. Wer alles gleichzeitig ins eigene Haus holt, zahlt für Kontrolle, die er an mancher Stelle gar nicht braucht.

2. Fünf Ebenen der Kontrolle

Die Ebenen sind unabhängig. Ein häufiger, gut begründbarer Zuschnitt: Quellcode und Laufzeit im eigenen Haus, Build in eigener Infrastruktur, Modellnutzung über einen Dienst mit vertraglicher Zusicherung – oder umgekehrt, je nach Datenlage.

3. Betriebsmodelle

• Öffentlicher Dienst. Geringster Aufwand, höchste Abhängigkeit. Für öffentliche und unkritische Inhalte meist unproblematisch.
• Dedizierte Umgebung beim Anbieter. Vertragliche Zusicherungen zu Verarbeitung, Speicherort und Trainingsnutzung; kein eigener Betrieb nötig.
• Private Cloud. Betrieb in eigener Cloud-Umgebung, Kontrolle über Netzgrenzen und Zugriffe, aber Betriebsaufwand.
• On-Premise. Volle Kontrolle, voller Aufwand – Hardware, Betrieb, Aktualisierung, Verfügbarkeit.

4. Modelle im eigenen Haus

Der Betrieb eigener Modelle ist technisch möglich und in bestimmten Konstellationen richtig. Realistisch einzuplanen sind:

• Hardware mit ausreichend Speicher für das gewählte Modell, inklusive Redundanz,
• Betrieb und Aktualisierung – Modelle, Laufzeitumgebung, Treiber,
• Leistungsunterschiede gegenüber großen gehosteten Modellen, die je nach Aufgabe deutlich ausfallen können,
• Kapazitätsplanung für parallele Nutzung,
• Auswahl und Bewertung der Modelle, inklusive Lizenzbedingungen.

Ein pragmatischer Zwischenweg ist die Aufteilung nach Aufgabe: einfache, hochfrequente Aufgaben lokal, anspruchsvolle Aufgaben über einen Dienst mit vertraglicher Zusicherung – gesteuert über die Datenklassen aus der Governance-Richtlinie.

5. Netzgrenzen und Datenflüsse

Unabhängig vom Betriebsmodell lohnt sich, die tatsächlichen Datenflüsse einmal aufzuzeichnen. Erfahrungsgemäß überraschen dabei drei Punkte:

• Werkzeugketten sind länger als gedacht – Editor, Erweiterung, Telemetrie, Assistenzfunktion in einem Fremdsystem.
• Agents lesen mehr, als die Aufgabe erfordert, wenn ihr Ausschnitt nicht begrenzt ist.
• Ausgehende Verbindungen sind selten eingeschränkt; eine Positivliste ist wirksamer als jede nachträgliche Analyse.

6. Build und Delivery

Die Delivery-Ebene ist oft die einfachste Entscheidung und hat trotzdem großen Effekt: Wenn Build, Registry und Deployment in Ihrer Infrastruktur laufen, bleibt der Weg vom Quellstand zur laufenden Anwendung vollständig in Ihrem Einflussbereich – unabhängig davon, wo ein Modell gerechnet hat.

Praktisch heißt das: eigene Pipeline, eigene Registry, Deployment in eigenes GitLab, Jenkins, On-Premise, Private Cloud oder Kubernetes. Details im Deep Dive CI/CD für AI-gestützte Softwareentwicklung.

7. Die Kostenseite

Kontrolle kostet, und die Rechnung sollte ehrlich geführt werden. Zu berücksichtigen sind Hardware und Abschreibung, Betriebsaufwand, Bereitschaft und Verfügbarkeit, Aktualisierungen sowie der Aufwand, Leistungsniveau zu halten. Dem gegenüber stehen vermiedene Risiken, erfüllbare Kundenanforderungen und die Fähigkeit, Projekte anzunehmen, die andernfalls ausscheiden.

Wichtig ist, beide Seiten zu benennen. Eine Entscheidung für den eigenen Betrieb, die den Aufwand ausblendet, wird nach zwei Jahren leise rückabgewickelt.

8. Entscheidungshilfe

Checkliste: Kontrolle je Ebene

Fazit

Souveränität in der AI-gestützten Entwicklung entsteht nicht dadurch, alles selbst zu betreiben, sondern dadurch, je Ebene bewusst zu entscheiden – und die Entscheidung begründen zu können. Das ist gegenüber Kunden, Auditoren und der eigenen Geschäftsführung die belastbarere Position.

Die Ebene mit dem besten Verhältnis von Aufwand zu Kontrollgewinn ist meist Delivery: Wenn Build und Deployment in Ihrer Infrastruktur laufen, ist der Weg vom Quellstand zur Produktion vollständig in Ihrer Hand.