Ein lokales LLM ist ein Sprachmodell, das auf Ihrer eigenen Hardware läuft, im Serverraum oder auf einer Workstation, ohne dass Eingaben das Haus verlassen. Cloud-KI ist das Gegenteil: Sie schicken Ihre Prompts an einen Anbieter, dessen Modell auf dessen Servern rechnet. Zwischen diesen beiden Wegen entscheiden gerade viele Kanzleien, Steuerberater und Finanzdienstleister, und meist mit dem Argument “lokal ist datenschutzrechtlich sicher”.
Das Argument stimmt zur Hälfte. Ein lokales LLM löst ein Problem sehr elegant, nämlich den Drittlandtransfer und die Frage, wer beim Anbieter mitliest. Es verschiebt aber gleichzeitig eine ganze Reihe von Pflichten von einem Konzern mit Sicherheitsabteilung zu Ihnen. Dieser Beitrag zeigt beide Seiten, damit Sie die Entscheidung mit offenen Augen treffen.
Was ist ein lokales LLM überhaupt?
Technisch ist ein lokales LLM ein heruntergeladenes Modell mit offenen Gewichten, das über eine Laufzeitumgebung auf Ihrer Hardware ausgeführt wird. Bekannte Modellfamilien mit offenen Gewichten sind Llama von Meta, Mistral aus Frankreich, Gemma von Google und Qwen von Alibaba. Als Laufzeitumgebung kommen Werkzeuge wie Ollama, llama.cpp oder vLLM zum Einsatz.
Wichtig für die Begriffsklärung: “Offene Gewichte” heißt, dass Sie das Modell herunterladen und selbst betreiben dürfen. Es heißt nicht automatisch Open Source im klassischen Sinn, denn die Lizenzen unterscheiden sich erheblich und einige enthalten Nutzungsbeschränkungen. Wer ein Modell produktiv einsetzt, sollte die Lizenz einmal gelesen haben.
Zwischen lokal und Cloud gibt es außerdem eine dritte Variante, die in der Diskussion oft untergeht: das Modell mit offenen Gewichten, gehostet bei einem europäischen Anbieter. Sie betreiben es nicht selbst, aber die Verarbeitung läuft bei einem Auftragsverarbeiter in der EU. Für viele Häuser ist das der praktikablere Mittelweg.
Löst ein lokales LLM die DSGVO-Fragen?
Es löst einige, und zwar die unangenehmsten.
Was tatsächlich wegfällt: Wenn keine Daten das Haus verlassen, gibt es keinen Drittlandtransfer nach Kapitel V der DSGVO. Sie brauchen keine Standardvertragsklauseln und müssen sich nicht auf das EU-US Data Privacy Framework stützen. Sie brauchen für das Modell selbst keinen Auftragsverarbeitungsvertrag, weil es keinen Auftragsverarbeiter gibt. Die Frage, ob der Anbieter Ihre Eingaben zum Training nutzt, stellt sich nicht. Und für Berufsgeheimnisträger ist der Punkt besonders relevant: Wenn niemand außerhalb Ihres Hauses Zugriff bekommt, entfällt die Offenbarung an einen Dritten, die §203 StGB zum Thema macht.
Was bleibt: So ziemlich alles andere. Sie sind weiterhin der Verantwortliche im Sinne der DSGVO. Sie brauchen weiterhin eine Rechtsgrundlage nach Art. 6, Sie müssen die Verarbeitung weiterhin ins Verzeichnis von Verarbeitungstätigkeiten aufnehmen, und bei hohem Risiko brauchen Sie weiterhin eine Datenschutz-Folgenabschätzung. Auch Betroffenenrechte, Löschkonzept und Protokollierung bleiben Ihre Aufgabe. Ein lokales Modell ist datenschutzrechtlich kein Freifahrtschein, es ist eine gute Antwort auf genau eine Teilfrage.
Und eine Pflicht wird sogar größer statt kleiner: die Sicherheit der Verarbeitung nach Art. 32 DSGVO. Bei Cloud-KI trägt der Anbieter einen erheblichen Teil der technischen Absicherung, mit Rechenzentrumssicherheit, Patch-Management, Zugriffskontrollen und Zertifizierungen. Beim Eigenbetrieb liegt das alles bei Ihnen.
Der ehrliche Vergleich
Datenschutz und Vertraulichkeit. Vorteil lokal, deutlich. Kein Transfer, kein Dritter, keine Trainingsfrage.
Aufwand für Sicherheit. Vorteil Cloud. Ein lokal betriebenes Modell braucht Netzsegmentierung, Zugriffskontrolle, Protokollierung, Backups und regelmäßige Updates der Laufzeitumgebung. Aus meiner Zeit in der Sicherheitspraxis kenne ich das Muster: Ein Server, der einmal aufgesetzt und dann nicht mehr angefasst wird, ist nach zwölf Monaten das schwächste Glied im Netz. Wer ein lokales LLM betreibt, betreibt ein Stück Infrastruktur, nicht nur eine Software.
Kosten. Gemischt, und anders verteilt, als viele erwarten. Cloud-KI kostet planbar pro Nutzer und Monat. Lokal kostet zunächst Hardware (ein brauchbarer GPU-Server bewegt sich im vierstelligen bis niedrigen fünfstelligen Bereich), dann Strom, dann vor allem Arbeitszeit. Der größte Posten ist selten das Blech, sondern die Person, die das System pflegt. Wenn Sie diese Person nicht haben, kaufen Sie sie ein, und dann verschwindet der Kostenvorteil meistens.
Qualität. Hier hat sich die Lage in den letzten zwei Jahren stark bewegt. Offene Modelle sind für Zusammenfassungen, Textentwürfe, Übersetzungen und Standardschreiben in vielen Fällen gut genug. Bei komplexem Schlussfolgern über lange Dokumente liegen die großen kommerziellen Modelle weiterhin vorn. Der ehrliche Rat: Testen Sie an Ihren eigenen echten Aufgaben, nicht an Benchmark-Tabellen.
Integration. Vorteil Cloud, besonders wenn Sie ohnehin in Microsoft 365 arbeiten. Copilot sitzt in Word, Outlook und Teams. Ein lokales Modell sitzt zunächst in einem Chatfenster, und alles darüber hinaus ist ein Projekt.
Verfügbarkeit. Vorteil Cloud. Wenn Ihr eigener Server ausfällt, steht die KI, bis jemand sie repariert. Für ein Werkzeug im Tagesgeschäft ist das ein Thema, das man vorher besprechen sollte.
Für wen lohnt sich der Eigenbetrieb?
Nach meiner Erfahrung fällt die Entscheidung selten am Datenschutz, sondern an der Frage, wer den Betrieb übernimmt.
Ein lokales LLM passt, wenn Sie eigene IT-Kompetenz im Haus oder einen IT-Dienstleister haben, der Server ohnehin betreut, wenn Sie mit besonders sensiblen Beständen arbeiten (Berufsgeheimnisse, Art.-9-Daten, Mandate mit eigener Geheimhaltungsvereinbarung), wenn die Anwendungsfälle klar umrissen sind und wenn Sie bereit sind, den Betrieb dauerhaft zu finanzieren. Nicht als Projekt, sondern als Linie.
Cloud-KI passt, wenn Sie keine eigene IT haben, wenn Sie breite Nutzung im Alltag wollen statt einzelner Spezialfälle, wenn Sie in Microsoft 365 arbeiten und wenn Sie schnell Ergebnisse brauchen. Der Weg dorthin führt über einen Business-Vertrag mit AVV, eine bewusste Regionswahl und saubere Einstellungen, wie ich sie in den Copilot-Einstellungen für DSGVO-Konformität beschrieben habe.
Der Mittelweg passt, wenn Sie EU-Verarbeitung wollen, aber keinen eigenen Serverbetrieb. Ein offenes Modell bei einem europäischen Anbieter gehostet, mit AVV und EU-Region, bringt einen großen Teil des Datenschutznutzens ohne die Betriebslast. Es bleibt ein Auftragsverarbeiter im Spiel, also gelten die üblichen Prüfschritte zum Datenstandort.
Viele Häuser fahren am Ende zweigleisig: Cloud für den breiten Alltag, lokal für den einen Anwendungsfall, bei dem wirklich nichts nach draußen darf. Das ist kein Kompromiss aus Unentschlossenheit, sondern eine vernünftige Risikoverteilung.
Der häufigste Denkfehler
Der Denkfehler, dem ich am öftesten begegne, lautet: “Wir nehmen ein lokales Modell, dann brauchen wir keine Regeln.” Das Gegenteil ist der Fall. Weil beim Eigenbetrieb kein Anbieter mehr Grenzen setzt, müssen Ihre eigenen Regeln greifen: Wer darf das System nutzen, welche Daten dürfen hinein, wie lange werden Chatverläufe aufbewahrt, wer sieht die Protokolle, wie werden Ergebnisse vor der Verwendung geprüft. Das gehört in dieselbe KI-Nutzungsrichtlinie, die Sie auch bei Cloud-Tools brauchen.
Dazu kommt: Auch das lokale Modell macht Fehler und erfindet Inhalte. Die Pflicht zur menschlichen Prüfung fällt mit dem Serverstandort nicht weg. Und die Kompetenzpflicht aus dem EU AI Act gilt unabhängig davon, wo das Modell rechnet.
Der nächste Schritt
Ob lokal, Cloud oder Mittelweg, die Vorarbeit ist in allen drei Fällen dieselbe: Anwendungsfälle klären, Rechtsgrundlage festlegen, Dokumentation aufsetzen, Regeln ans Team geben. Wenn Sie wissen wollen, wo Sie dabei stehen, machen Sie meinen kostenlosen KI-Compliance-Check. Dauert 2 Minuten und zeigt Ihnen, welche Fragen noch offen sind, bevor Sie sich für einen Weg entscheiden.
Jose Lugo ist CISSP-zertifizierter KI-Compliance-Berater. Er berät Kanzleien, Steuerberater und Finanzdienstleister in Deutschland bei der DSGVO-konformen Einführung von KI-Tools.