Was ist ein lokales LLM?
Ein lokales LLM ist ein großes Sprachmodell, das nicht in der Cloud eines Anbieters läuft, sondern auf Hardware, die Sie kontrollieren: ein Laptop, eine Workstation, ein Server im eigenen Rechenzentrum oder bei einem europäischen Hoster. Möglich wird das durch Modelle mit offenen Gewichten – Meta (Llama), Alibaba (Qwen), Google (Gemma), Mistral und andere stellen ihre Modelle zum Download bereit. Was ein LLM grundsätzlich ist, erklärt der Beitrag LLM-Bedeutung.
Der Unterschied zu ChatGPT und Co. ist fundamental: Ihre Eingaben verlassen das Haus nicht. Es gibt keinen Auftragsverarbeitungsvertrag, weil es keinen Auftragsverarbeiter gibt; keine Tokenkosten, weil Sie die Rechenleistung besitzen; keine Abhängigkeit von Preisänderungen oder abgeschalteten Modellen. Dafür übernehmen Sie Hardware, Einrichtung, Betrieb und Aktualisierung selbst.
Welche Vorteile bietet ein lokales LLM?
- ▸Datenschutz und Vertraulichkeit: Patientendaten, Mandantenakten, Konstruktionszeichnungen, Quellcode – alles bleibt im eigenen Netz. Für Berufsgeheimnisträger und regulierte Branchen oft die einzige akzeptable Variante.
- ▸Kostenstruktur: Einmalige Hardware statt laufender Tokenkosten. Bei hohem Volumen – etwa der Klassifizierung von Zehntausenden Dokumenten – rechnet sich das innerhalb von Monaten.
- ▸Unabhängigkeit: Kein Anbieter kann das Modell abschalten, Preise erhöhen oder Nutzungsbedingungen ändern. Ein einmal getestetes Modell verhält sich morgen genauso wie heute.
- ▸Offline-Fähigkeit: Läuft ohne Internet – relevant für Außeneinsätze, abgeschottete Netze oder Produktionsumgebungen.
- ▸Anpassbarkeit: Offene Modelle lassen sich feinabstimmen und mit eigenen Werkzeugen verbinden, ohne Rücksicht auf Anbieter-Limits.
Welche Hardware brauche ich für ein lokales LLM?
Die entscheidende Größe ist der Grafikspeicher (VRAM) – oder bei Apple-Silicon-Macs und AMD-Ryzen-AI-Systemen der gemeinsam genutzte Arbeitsspeicher. Das Modell muss hineinpassen, sonst wird es langsam. Faustregel: Ein Modell mit 8 Milliarden Parametern braucht in komprimierter Form (4-Bit-Quantisierung) etwa 5–6 GB, ein 30B-Modell etwa 18–20 GB, ein 70B-Modell etwa 40–45 GB.
| Hardware-Klasse | Speicher | Modelle, die flüssig laufen | Typischer Einsatz |
|---|---|---|---|
| Büro-Laptop ohne GPU | 16–32 GB RAM | 3B–8B (Llama 3.2 3B, Qwen3 8B), langsam | Ausprobieren, einfache Aufgaben |
| Desktop mit Gaming-GPU | 8–12 GB VRAM (z. B. RTX 4070) | 7B–8B bei über 40 Token/s, 14B mit Abstrichen | Einzelarbeitsplatz, Entwickler |
| Workstation-GPU | 24 GB VRAM (RTX 4090 / 5090, RTX A5000) | 30B-Modelle, Qwen3 30B-A3B, Gemma 3 27B | Team-Server, RAG für Abteilungen |
| Mac Studio / MacBook Pro (M-Serie) | 64–192 GB gemeinsamer Speicher | 30B flüssig, 70B nutzbar | Leise, stromsparend, Entwicklung |
| Server mit Profi-GPUs | 48–80 GB VRAM je Karte (RTX 6000, H100) | 70B und mehr, viele Nutzer gleichzeitig | Unternehmensweiter Betrieb |
Brauchen Sie zwingend eine dedizierte GPU? Nein – kleine Modelle laufen auf jeder modernen CPU, nur langsamer. Für den Teameinsatz ist eine GPU aber Pflicht: Antwortzeiten von mehreren Sekunden pro Satz akzeptiert niemand im Alltag. Ein guter Mittelweg für KMU ist ein Server mit einer 24-GB-Karte – für 3.000 bis 5.000 € bekommen Sie Hardware, die ein 30B-Modell für ein ganzes Team bedient.
Welche lokalen LLM-Modelle gibt es?
| Modell | Größen | Stärke | Lizenz |
|---|---|---|---|
| Llama 3.x / Llama 4 | 3B, 8B, 70B, größere MoE-Varianten | Allrounder, riesiges Ökosystem | Llama-Lizenz (kommerziell nutzbar mit Auflagen) |
| Qwen3 | 0,6B bis 235B, u. a. 8B, 30B-A3B (MoE) | Sehr starkes Preis-Leistungs-Verhältnis, gutes Deutsch, Reasoning | Apache 2.0 |
| Gemma 3 | 1B, 4B, 12B, 27B | Hohe Qualität, Bildverständnis, gutes Deutsch | Gemma-Lizenz |
| Mistral / Mistral Small / Magistral | 7B, 24B u. a. | Europäischer Anbieter, effizient, mehrsprachig | Apache 2.0 (je nach Modell) |
| DeepSeek-R1 (Distill-Varianten) | 7B bis 70B | Reasoning-Stärke, lokal in Destillaten | MIT |
| Phi-4 | Mini bis 14B | Klein und erstaunlich fähig, gut für Edge-Geräte | MIT |
Welches Modell das beste ist, hängt von Aufgabe und Hardware ab. Als Allrounder für deutschsprachige Büroarbeit haben sich 2026 Qwen3 (8B für Einzelplätze, 30B-A3B für Teams) und Gemma 3 27B bewährt; für Code-Aufgaben die Coder-Varianten von Qwen; für maximale Qualität bei vorhandener Hardware Llama 70B. Alle genannten Modelle sind kostenlos – „freie LLM-Modelle“ sind der Normalfall, nicht die Ausnahme. Prüfen Sie nur die Lizenz auf kommerzielle Nutzung.
Ollama, LM Studio, vLLM und Open WebUI im Vergleich
- ▸Ollama: Kommandozeilen-Werkzeug und Server, mit „ollama run qwen3:8b“ in einer Minute startklar. Stellt eine API bereit, die sich mit n8n, eigenen Anwendungen oder RAG-Systemen verbinden lässt. Für 90 % der Unternehmens-Setups der Standard – läuft auf Windows, macOS und Linux.
- ▸LM Studio: Grafische Desktop-Anwendung mit Modell-Katalog, Chat-Oberfläche und lokalem API-Server. Ideal für Einsteiger und Einzelarbeitsplätze.
- ▸llama.cpp: Die Engine unter beiden, direkt nutzbar für maximale Kontrolle und exotische Hardware.
- ▸vLLM: Hochleistungs-Server für viele gleichzeitige Nutzer – die Wahl für den produktiven Betrieb mit Profi-GPUs.
- ▸Open WebUI: ChatGPT-ähnliche Oberfläche für Teams mit Nutzerverwaltung, Dokumenten-Upload und RAG – zusammen mit Ollama das De-facto-Standardpaket für datenschutzstrikte Setups im DACH-Raum.
So installieren Sie ein lokales LLM
- ▸1. Hardware prüfen: VRAM bzw. Arbeitsspeicher ermitteln und daraus die maximale Modellgröße ableiten (siehe Tabelle).
- ▸2. Ollama installieren: Installer von ollama.com, danach im Terminal „ollama run qwen3:8b“ – das Modell wird geladen und der Chat startet.
- ▸3. Oberfläche ergänzen: Open WebUI per Docker starten und mit Ollama verbinden; Nutzerkonten anlegen.
- ▸4. Dokumente anbinden: In Open WebUI Dokumente hochladen oder ein eigenes RAG-System mit pgvector und n8n aufsetzen, damit das Modell aus Firmenwissen antwortet.
- ▸5. Absichern und messen: Zugriff nur im internen Netz oder per VPN, Logging aktivieren, Antwortqualität mit 30 echten Fragen gegen ein Cloud-Modell vergleichen.
Testen Sie vor dem Hardwarekauf: Ollama läuft auch auf einem normalen Laptop mit 16 GB RAM. Wenn das 8B-Modell Ihre Aufgabe im Langsam-Modus korrekt löst, wissen Sie, dass sich die GPU lohnt – wenn nicht, sparen Sie sich die Investition.
Können lokale LLMs mit Cloud-Modellen mithalten?
Bei vielen Alltagsaufgaben ja: Zusammenfassen, Umformulieren, Klassifizieren, Informationen aus Dokumenten ziehen, Fragen zu bereitgestelltem Kontext beantworten – hier ist ein gutes 30B-Modell von 2026 auf dem Niveau der Cloud-Spitzenmodelle von vor ein bis zwei Jahren, und das reicht in der Praxis meistens. Bei komplexem Reasoning, langen mehrstufigen Aufgaben, Agenten-Workflows und anspruchsvollem Code liegen die aktuellen Spitzenmodelle von Anthropic, OpenAI und Google weiterhin spürbar vorn. Die Lücke schließt sich, verschwindet aber nicht.
Die Entscheidung ist deshalb selten entweder-oder. Ein bewährtes Muster: lokales Modell für alles, was sensible Daten berührt oder in großem Volumen anfällt; Cloud-Modell mit Auftragsverarbeitungsvertrag für die anspruchsvollen Einzelfälle. Eine Abstraktionsschicht (etwa in n8n) macht das Modell austauschbar.
Sind lokale LLMs DSGVO-konform?
Ein lokales Modell ist der datenschutzfreundlichste Weg, KI einzusetzen: Es gibt weder eine Übermittlung an Dritte noch einen Drittlandtransfer oder eine Trainingsnutzung. Die DSGVO gilt trotzdem – Sie verarbeiten weiterhin personenbezogene Daten und brauchen Rechtsgrundlage, Zweckbindung, Löschkonzept und Dokumentation. Was wegfällt, ist der komplizierteste Teil: die Auftragsverarbeitung und die Drittlandfrage. Für Arztpraxen, Kanzleien und Steuerberater, die das Berufsgeheimnis wahren müssen, ist das häufig der entscheidende Vorteil.
Grenzen und Aufwand ehrlich betrachtet
- ▸Betrieb ist Arbeit: Updates, Modellwechsel, Monitoring, GPU-Treiber. Jemand muss sich kümmern.
- ▸Skalierung: Zehn gleichzeitige Nutzer auf einer Consumer-GPU werden langsam. Für größere Teams braucht es vLLM und Profi-Hardware.
- ▸Stromkosten: Eine GPU unter Last zieht 300–450 Watt. Bei Dauerbetrieb ein Posten, der in die Rechnung gehört.
- ▸Kein Support: Bei offenen Modellen gibt es keinen Anbieter, der haftet oder hilft – Community und Dienstleister ersetzen das.
- ▸Qualitätsgefälle: Wer Spitzenqualität bei Reasoning braucht, kommt um Cloud-Modelle nicht herum.
Unser Fazit
Lokale LLMs sind 2026 keine Bastellösung mehr. Mit einer 24-GB-GPU, Ollama und Open WebUI bekommt ein Mittelständler für wenige Tausend Euro einen KI-Assistenten, der Firmendokumente versteht, keine Daten nach außen gibt und keine laufenden Tokenkosten verursacht. Die Cloud bleibt für die schwersten Aufgaben das Werkzeug der Wahl – der kluge Weg ist die Kombination.
Sie wollen ein lokales LLM mit Anbindung an Ihre Dokumente aufsetzen – oder erst einmal prüfen, ob Ihre Anwendungsfälle lokal funktionieren? Wir richten Ollama, Open WebUI und RAG auf Ihrer Hardware oder bei einem EU-Hoster ein. Erstgespräch vereinbaren.