February 17, 20267 min read
Hand aufs Herz: Wie viele eurer Mitarbeiter haben letzte Woche Firmendaten in ChatGPT kopiert? Kundennamen, interne Dokumente, vielleicht sogar Code-Snippets mit API-Keys? Wenn ihr jetzt kurz zusammenzuckt — willkommen im Club. Genau dieses Problem lösen wir seit Monaten für unsere Kunden. Und die Antwort heißt nicht "KI verbieten", sondern: KI richtig betreiben.
Das Problem mit der Cloud-KI
Wir kennen das Szenario alle. Ein Team entdeckt ChatGPT, die Produktivität geht durch die Decke, und plötzlich fließen sensible Daten über den großen Teich. Das ist nicht nur ein Bauchgefühl-Problem — das ist ein handfestes DSGVO-Risiko.
Seit dem Schrems-II-Urteil ist der Datentransfer in die USA ein Minenfeld. Und mit der Hochrisiko-Regulierung des EU AI Acts, die im August 2026 voll greift, wird's nochmal ernster. Unternehmen, die KI einsetzen, brauchen Transparenz, Nachvollziehbarkeit und vor allem: Datenkontrolle.
Die Lösung, die viele Anbieter verkaufen? "Unsere Cloud ist DSGVO-konform!"* — und hinter dem Sternchen läuft dann ChatGPT auf Azure, zwar in Europa gehostet, aber trotzdem vom US CLOUD Act betroffen. Heißt im Klartext: US-Behörden können auf deine Daten zugreifen, ohne dass du davon erfährst. So viel zu "konform".
Sovereign AI — mehr als ein Buzzword
Europa meint es diesmal ernst. Das EURO-3C Projekt, vorgestellt am Mobile World Congress 2026, baut mit €75 Millionen eine europäische Cloud- und KI-Infrastruktur auf. Die EU AI Factories sollen bis Ende des Jahres die Rechenkapazität am Kontinent verdreifachen. Und laut Gartner planen 52% der westeuropäischen Unternehmen, ihre Investitionen in Datensouveränität zu erhöhen — die europäischen Sovereign-Cloud-Ausgaben sollen sich von 2025 bis 2027 verdreifachen.
Aber mal ehrlich — auf EU-Infrastruktur warten kannst du dir als Unternehmen nicht leisten. Die gute Nachricht: Du musst es auch nicht. Die Tools dafür gibt es heute schon. Open-Source. Kostenlos. Ready to deploy.
Kurzer Hinweis, bevor es technisch wird
Ab hier tauchen wir tiefer in die Technik ein — Architektur, Tools, Hardware. Wenn du eher auf der strategischen Seite unterwegs bist und einfach wissen willst, ob und wie eine DSGVO-konforme KI-Lösung für euer Unternehmen funktionieren kann: Meld dich bei uns. Wir klären das gerne in einem kurzen Gespräch, ganz ohne Nerd-Speak.
Für alle anderen: Let's go.
OpenWebUI: Das ChatGPT, das dir gehört
Hier kommt OpenWebUI ins Spiel. Falls du es noch nicht kennst: OpenWebUI ist eine Open-Source-Weboberfläche für Large Language Models. Stell dir ChatGPT vor — aber auf deinem eigenen Server, mit deinen eigenen Modellen, unter deiner vollen Kontrolle.
Was OpenWebUI konkret kann:
- Multi-Modell-Support: Ollama, OpenAI API, und alles was kompatibel ist — von Llama 4 über Mistral 3 bis Qwen 3.5
- RAG-Pipeline: Dokumente hochladen, durchsuchen, im Chat referenzieren. Deine Wissensdatenbank, on-premise
- Rollenbasierte Zugriffskontrolle: Admin, User, Gruppen — wer darf welches Modell nutzen
- Funktionen und Tools: Eigene Plugins erstellen, Web-Suche integrieren, Workflows bauen
- Keine Daten nach draußen: Alles bleibt auf deiner Infrastruktur
Das Ganze läuft als Docker-Container. Ein docker compose up und du hast deine eigene KI-Plattform. Kein Vendor Lock-in, keine monatliche Rechnung pro User, keine Überraschungen in den AGB.
Warum "einfach OpenWebUI installieren" zu kurz gedacht ist
OK, bevor jetzt alle losrennen und Docker starten — ein paar Worte der Warnung. OpenWebUI alleine ist wie ein Motor ohne Auto. Du brauchst drumherum noch ein paar Dinge:
LLM-Infrastruktur: Woher kommen die Modelle? Ollama für lokale Modelle ist der einfachste Einstieg, aber für Production-Workloads mit mehreren Usern brauchst du was Robusteres. Hier kommen Tools wie vLLM (für GPU-Inference) und LiteLLM (als API-Gateway für mehrere Modelle) ins Spiel.
User Management: OpenWebUI hat Basic Auth, aber in einer Unternehmensumgebung willst du LDAP oder Active Directory. Single Sign-On. Berechtigungsgruppen, die sich aus deinem bestehenden Verzeichnisdienst speisen.
Automatisierung: Was passiert, wenn ein neues Dokument in der Wissensdatenbank landet? Wer aktualisiert die RAG-Pipeline? Hier braucht es Workflow-Automatisierung — Stichwort Windmill oder n8n.
Hardware: Lokale LLMs brauchen GPUs. Oder Apple Silicon. Oder beides. Die Dimensionierung hängt davon ab, wie viele User gleichzeitig anfragen und welche Modelle du fahren willst.
Genau diese Lücke füllen wir mit unserer AI OpenStack Lösung — einem kompletten KI-Stack, der unter der Haube eine durchdachte Architektur mitbringt. OpenWebUI kann dabei als eines von mehreren Frontends eingebunden werden, muss aber nicht. Daneben bieten wir auch eigene, optimierte UIs, die es einfacher machen, interne Prozesse sauber abzubilden und zu vereinheitlichen — von der Dokumentenverarbeitung bis zum Kunden-Support.
So sieht eine DSGVO-konforme KI-Architektur aus
Schauen wir uns mal an, wie ein sauberes Setup aussieht, das alle Voraussetzungen dafür erfüllt:
Schicht 1: Inference Layer
vLLM oder Ollama stellen die Modelle bereit. Alles lokal, keine API-Calls nach extern. Du wählst die Modelle selbst — Llama 4 für General Purpose, Mistral 3 für schnelle Aufgaben, spezialisierte Modelle für deine Branche.
Schicht 2: API Gateway
LiteLLM sitzt dazwischen und gibt dir ein einheitliches OpenAI-kompatibles API. Loadbalancing, Rate Limiting, Logging — alles an einer Stelle. Und ja, du kannst auch externe APIs (OpenAI, Anthropic) als Fallback konfigurieren — aber bewusst und kontrolliert.
Schicht 3: Frontend
OpenWebUI für die User. Chat, RAG, Modell-Auswahl, Konversationshistorie. Alles was dein Team braucht, um produktiv zu sein.
Schicht 4: Automatisierung
Windmill für Workflows. Dokumente verarbeiten, Pipelines triggern, Reports generieren — ohne dass ein Entwickler jedes Mal manuell eingreifen muss.
Schicht 5: Integration
LDAP/Active Directory für User. Nextcloud oder lokale NAS-Systeme für Dokumente. Dein bestehendes Ökosystem, erweitert um KI.
Das Ergebnis: Eine KI-Plattform, die sich anfühlt wie ChatGPT — aber auf deiner Infrastruktur läuft, dein Active Directory nutzt und keinen einzigen Datenpunkt an Dritte sendet.
Die Hardware-Frage
"Klingt super, aber was kostet mich der Server?" — die Frage kommt immer. Hier ein realistischer Überblick:
Einstieg (5-20 User): Ein Mac Studio mit M3 Ultra reicht für die meisten Modelle bis 70B Parameter. Kosten: ~5.000€ einmalig. Kein Witz — Apple Silicon ist aktuell das beste Preis-Leistungs-Verhältnis für lokale LLM-Inference.
Mittelstand (20-100 User): Eine dedizierte GPU-Workstation mit NVIDIA A6000 oder die neuen NVIDIA GB10-basierten Systeme. Alternativ: NVIDIA DGX Spark als kompakte Lösung. 10.000-30.000€.
Enterprise (100+ User): Hier reden wir über GPU-Server im Rack. Mehrere A100/H100 Karten, eventuell ein kleiner Cluster. Aber: Verglichen mit den laufenden Kosten für ChatGPT Enterprise bei 100+ Usern rechnet sich das schneller als du denkst.
Oder: Gar keine eigene Hardware. Wir bieten die gängigen Open-Source-Modelle auch über unser eigenes Rechenzentrum an — regional gehostet, ohne Gefahr dass Daten an Dritte gelangen. Das senkt die initialen Investitionskosten auf null und du zahlst nur, was du tatsächlich nutzt. Perfekt für den Einstieg oder wenn du erstmal testen willst, bevor du eigene Hardware anschaffst.
Was wir bei Kunden-Deployments gelernt haben
Wir rollen unsere AI OpenStack Lösung seit einiger Zeit bei Kunden aus. Ein paar Learnings:
User Adoption ist der Schlüssel. Die beste KI-Plattform bringt nichts, wenn sie keiner nutzt. OpenWebUI hilft hier enorm, weil die Oberfläche sich vertraut anfühlt. Wer ChatGPT kennt, findet sich sofort zurecht.
Starte klein, skaliere gezielt. Nicht gleich das ganze Unternehmen umstellen. Ein Pilot-Team, ein Use Case (z.B. internes Wissensmanagement), dann ausbauen.
Modell-Auswahl ist wichtiger als Modell-Größe. Für 80% der Use Cases reicht ein 7B-Modell. Ernsthaft. Nicht jede Anfrage braucht ein 70B-Monster. Das spart Hardware und macht die Antworten schneller.
Dokumentation der Verarbeitung. Für die DSGVO brauchst du ein Verzeichnis von Verarbeitungstätigkeiten. Klingt bürokratisch, ist es auch — aber mit einem selbst gehosteten Stack hast du volle Transparenz darüber, was wann wo verarbeitet wird. Das ist bei Cloud-Anbietern deutlich schwieriger nachzuweisen.
OpenWebUI ist kein Allheilmittel. So gut es als generelle Chat-Oberfläche ist — oft ist genau diese Flexibilität das Problem. Viele Kunden wollen keine offene Chat-Box, sondern feste Prozesse durch KI beschleunigen. Angebote kalkulieren, Support-Tickets klassifizieren, Dokumentation generieren — immer gleich, immer konsistent. In OpenWebUI bedient jeder User das Interface anders, und das Endergebnis ist damit jedes Mal ein bisschen anders. Genau deswegen haben wir eine eigene Web-Oberfläche gebaut, die parallel zu OpenWebUI läuft. Darüber lassen sich solche strukturierten Anforderungen einfacher, schneller und vor allem konsistenter umsetzen.
Fazit: Die Zukunft der Unternehmens-KI ist Open-Source
Die Sovereign-AI-Bewegung in Europa ist kein Trend, der wieder verschwindet. Mit dem AI Act, steigenden DSGVO-Anforderungen und dem wachsenden Bewusstsein für Datensouveränität wird der On-Premise-KI-Markt in den nächsten Jahren explodieren.
OpenWebUI ist dabei ein hervorragender Einstiegspunkt — Open-Source, aktiv entwickelt, riesige Community. Kombiniert mit der richtigen Infrastruktur dahinter — wie unsere AI OpenStack Lösung sie bietet — hast du eine Enterprise-KI-Plattform, die jedem SaaS-Angebot das Wasser reichen kann. Ohne Vendor Lock-in. Ohne Datenschutz-Kopfschmerzen. Ohne monatliche Pro-User-Gebühren.
Wenn du überlegst, KI in deinem Unternehmen einzusetzen — oder wenn dein Team eh schon ChatGPT nutzt und du das in geordnete Bahnen lenken willst — meld dich bei uns. Dafür gibt's uns.
