KI auf eigener Infrastruktur, DSGVO-konform und ohne US-Cloud
Sprachmodelle, die auf Ihrer eigenen Hardware laufen: Ollama, Qdrant und eine RAG-Pipeline über Ihre Dokumente, ohne dass ein Prompt das Haus verlässt. Ich baue solche Systeme, betreibe sie und sage Ihnen vorher, wo ein lokales Modell an seine Grenzen kommt.
Warum lokale Modelle statt Cloud-API
Sobald ein Modell in der Cloud läuft, verlässt jeder Prompt das Haus. Das ist bei einer Textzusammenfassung unkritisch und wird unangenehm, sobald Personalakten, Patientendaten, Mandantenunterlagen oder interne Verträge im Kontext stehen. Anbieter mit Sitz oder Mutterkonzern in den USA werfen zusätzlich die Frage nach der Drittstaatenübermittlung auf. Wer diese Prüfung einmal gemacht hat, weiß, wie viel Aufwand darin steckt.
Läuft das Modell auf Ihrer eigenen Hardware, verschiebt sich die Frage: Es gibt keinen externen Empfänger, keinen Auftragsverarbeitungsvertrag mit einem Drittstaat und keine Diskussion darüber, ob Eingaben zum Training verwendet werden. Das vereinfacht die DSGVO-Bewertung erheblich, ersetzt sie aber nicht. Die Verarbeitung selbst bleibt zu dokumentieren und zu begründen. Für Berufsgeheimnisträger nach Paragraf 203 StGB, für Kanzleien, Praxen, Steuerberatung und für regulierte Finanzunternehmen ist das oft der einzige gangbare Weg, überhaupt mit KI zu arbeiten.
Welche Hardware Sie realistisch brauchen
Die häufigste Fehlannahme ist, dass lokale KI einen Serverraum voller Grafikkarten verlangt. Für die typischen Anwendungsfälle im Mittelstand, also Dokumente durchsuchen, Texte einordnen und Fragen an eigene Unterlagen stellen, reicht eine einzelne GPU mit ausreichend Videospeicher. Der Videospeicher ist die entscheidende Größe, nicht die Rechenleistung: Er bestimmt, welche Modellgröße überhaupt geladen werden kann und wie viel Kontext gleichzeitig verarbeitet wird. Quantisierte Modelle senken diesen Bedarf deutlich, kosten dafür etwas Antwortqualität.
Ob die Karte in einem Server bei Ihnen im Haus steckt, in einer Colocation oder bei einem europäischen Anbieter mit dediziertem Zugriff, ist eine Frage von Datenschutzanforderung, Budget und vorhandenem Personal. Ich rechne beide Varianten vorher durch, inklusive Strom und Ersatzteilrisiko, damit die Entscheidung nicht auf einem Bauchgefühl steht. Für Embedding-Modelle und Vektorsuche genügt in vielen Fällen eine CPU. Nicht jeder Teil der Kette braucht eine GPU. Wer klein anfangen will, startet mit einem Modell und einem klar umrissenen Anwendungsfall statt mit einer Plattform für alles.
Modelle, Werkzeuge und Architektur
Ein lokales KI-System besteht selten aus einem einzelnen Modell. In der Praxis ist es eine Kette: Dokumente werden zerlegt, in Vektoren übersetzt, in einer Datenbank abgelegt und bei jeder Frage passend wieder herausgesucht. Erst dann sieht das Sprachmodell den Kontext, aus dem es antworten soll. Dieses Muster heißt Retrieval Augmented Generation und ist der Grund, warum ein mittelgroßes lokales Modell bei Fragen an Ihre eigenen Unterlagen oft besser abschneidet als ein sehr großes Modell ohne diesen Kontext.
Ich setze dabei auf Werkzeuge, die quelloffen sind und sich ohne Lizenzbindung betreiben lassen. Der Aufbau ist bewusst austauschbar gehalten: Wird in einem Jahr ein besseres offenes Modell veröffentlicht, wird es eingesetzt, ohne dass die Anwendung darüber neu gebaut werden muss.
- Ollama als Laufzeitumgebung für offene Sprachmodelle: Modellwechsel ohne Änderung an der Anwendung
- Qdrant als Vektordatenbank für die semantische Suche über Ihre eigenen Dokumente
- SentenceTransformers für die Embeddings, die Dokumente und Fragen vergleichbar machen
- RAG-Pipeline mit nachvollziehbaren Quellenangaben, damit jede Antwort auf ein konkretes Dokument zurückführt
- Anbindung an vorhandene Systeme über APIs statt über einen weiteren isolierten Datensilo
- Betrieb in Containern auf Kubernetes, deklarativ beschrieben und damit reproduzierbar wiederherstellbar
Wo lokale Modelle an Grenzen stoßen, und was der Betrieb bedeutet
Offene Modelle, die auf einer einzelnen Karte laufen, sind nicht so stark wie die größten kommerziellen Modelle. Bei langen Ketten logischer Schlüsse, bei anspruchsvoller Programmierung und bei sehr großen Kontexten ist der Abstand spürbar. Wenn Ihr Anwendungsfall genau dort liegt und die verarbeiteten Daten unkritisch sind, ist eine Cloud-API die ehrlichere Empfehlung. Das sage ich Ihnen dann auch. Häufig ist der sinnvollste Aufbau gemischt: sensible Daten lokal, unkritische Aufgaben extern, mit einer klaren Regel dazwischen, was wohin darf.
Betrieb heißt bei lokaler KI mehr als das Modell einmal zu starten. Modelle werden aktualisiert, der Vektorindex muss neu aufgebaut werden, wenn sich Dokumente ändern, Speicherbedarf und Antwortzeiten wollen überwacht sein, und Backups müssen den Index einschließen und nicht nur die Anwendung. Ich betreibe solche Systeme selbst und übernehme den Betrieb auf Wunsch mit, oder ich übergebe ihn dokumentiert an Ihre IT, wenn Sie ihn selbst führen wollen.
Aus der Praxis
DORA.KI: Compliance-Abgleich vollständig lokal
Ein KI-gestütztes Compliance-Audit für den Finanzsektor: Das System vergleicht DORA- und ISO-27001-Anforderungen semantisch mit der bestehenden Dokumentation des Unternehmens und zeigt, wo Nachweise fehlen. Es läuft komplett lokal auf Ollama, Qdrant und SentenceTransformers. Kein Dokument verlässt die Infrastruktur, was bei internen Sicherheitsrichtlinien und Auditunterlagen die Voraussetzung dafür war, KI überhaupt einsetzen zu dürfen.
Häufige Fragen
Ist eine lokal betriebene KI automatisch DSGVO-konform?
Nein, und das behauptet auch niemand seriös. Lokaler Betrieb entfernt einen großen Teil der Problematik: Es gibt keine Übermittlung an einen Anbieter im Drittstaat, keinen zusätzlichen Auftragsverarbeitungsvertrag und keine offene Frage, ob Eingaben zum Training verwendet werden. Das vereinfacht die DSGVO-Bewertung deutlich, ersetzt aber weder Ihr Verarbeitungsverzeichnis noch die rechtliche Prüfung des konkreten Anwendungsfalls. Diese Bewertung trifft Ihr Datenschutzbeauftragter, nicht ich.
Welche Modelle lassen sich lokal sinnvoll betreiben?
Offene Modelle, die über Ollama bereitgestellt werden, decken den Großteil der Anwendungsfälle ab: Zusammenfassen, Einordnen, Fragen an eigene Dokumente beantworten, strukturierte Daten aus Texten ziehen. Welches Modell konkret passt, hängt an Videospeicher, Sprache und Aufgabe, und die Landschaft verändert sich schnell. Deshalb lege ich mich nicht auf ein Modell fest, sondern baue den Aufbau so, dass ein Wechsel eine Konfigurationsänderung ist. Vor der Entscheidung teste ich mit Ihren echten Beispieldaten, nicht mit Demobeispielen.
Was kostet ein solches Projekt?
Das hängt vom Umfang ab und lässt sich seriös erst beziffern, wenn klar ist, was die Lösung leisten soll. Nach dem Erstgespräch bekommen Sie eine schriftliche Einschätzung mit Aufwand und Vorgehen, bevor Sie sich entscheiden müssen. Das Erstgespräch selbst ist unverbindlich und kostet nichts. Die Hardware wird dabei getrennt betrachtet.
Können wir das nicht einfach mit einem europäischen Cloud-Anbieter lösen?
Für viele Anwendungsfälle ist das ein gangbarer Mittelweg und deutlich einfacher als eigene Hardware. Sie behalten aber einen externen Verarbeiter in der Kette, brauchen weiterhin einen Auftragsverarbeitungsvertrag und sind an dessen Modellauswahl und Preisgestaltung gebunden. Für Berufsgeheimnisträger und stark regulierte Bereiche fällt die Abwägung häufig trotzdem zugunsten des eigenen Betriebs aus. Welche Variante passt, klären wir anhand Ihrer Daten und nicht anhand einer pauschalen Regel.
Was passiert, wenn wir das System später selbst betreiben wollen?
Das ist vorgesehen. Die Infrastruktur ist deklarativ beschrieben und dokumentiert, sodass der Betrieb nachvollziehbar bleibt. Es kommen ausschließlich quelloffene Komponenten zum Einsatz, es gibt keine Lizenzbindung an mich. Eine Übergabe an Ihre IT oder an einen anderen Dienstleister ist damit jederzeit möglich.
Nächster Schritt
Erstgespräch: 30 Minuten, kostenlos.
Schildern Sie kurz Ihre Ausgangslage. Sie bekommen eine ehrliche Einschätzung, ob und wie sich das lohnt.
Termin anfragen →