Lokale Modelle: was das heißt

„Dann nehmen wir eben ein lokales Modell, dann bleibt alles im Haus.“ Der Satz fällt in fast jeder Besprechung, in der es um Mandatsakten, Personalunterlagen oder Angebote geht, die ein Wettbewerber nicht sehen soll. Er ist richtig. Was danach kommt, ist oft ein Nachmittag, an dem jemand ein Modell lädt, das nicht in den Rechner passt.

Ein lokales Modell läuft auf dem Rechner, der vor dir steht, oder auf einem Server in eurem Netz. Kein Konto, keine Abrechnung pro Anfrage, und nichts, was du eintippst, geht an einen Anbieter. Das ist die ganze Definition. Alles andere folgt daraus.

Danach weißt du:

• was „lokal“ technisch heißt und welche drei Werkzeuge dafür im September 2026 üblich sind
• warum der Grafikspeicher entscheidet, welches Modell läuft, und wie du den Bedarf mit einer Zeile ausrechnest
• was sich an der Arbeit ändert: Vertraulichkeit, Kosten, Wiederholbarkeit
• was gleich bleibt, und wo der Abstand zu den großen Modellen spürbar wird

Was lokal heißt

Ein Sprachmodell ist eine Datei mit Zahlen, den Gewichten, und ein Programm, das diese Datei lädt und daraus Text fortsetzt (was dabei passiert, beschreibt der Beitrag „Was ein Sprachmodell tut“). Lokal heißt: Datei und Programm liegen auf eurer Hardware. Die Modelle dafür sind offen veröffentlicht, mit Lizenz; Meta (Llama), Alibaba (Qwen), Google (Gemma) und Mistral stellen sie ins Netz.

Drei Programme laden solche Dateien, und sie sind Schichten desselben Dings:

• llama.cpp ist der Kern: ein Programm in C, das die Modelldatei liest und rechnet, auf Grafikkarte oder Prozessor. Kommandozeile, jede Stellschraube, keine Bequemlichkeit.
• Ollama legt einen Dienst darum. Ein Befehl lädt ein Modell (ollama run llama3.2), der Dienst lauscht auf http://localhost:11434, und Skripte oder n8n sprechen ihn über eine Schnittstelle an, die auch die OpenAI-Aufrufe versteht. Das benutzen wir in allen Beiträgen dieser Reihe.
• LM Studio legt eine Oberfläche darum: Modell suchen, laden, chatten, Regler für Fenster und Temperatur. Gut für die erste Stunde; für den Betrieb im Ablauf nimmt man Ollama.

Die Modelldateien sind bei allen dreien dasselbe Format, GGUF. Was in LM Studio läuft, läuft in Ollama.

Der Grafikspeicher entscheidet

Die Frage, die alles vorentscheidet, ist nicht „wie schnell ist die Karte“, sondern „wie viel Speicher hat sie“. Das Modell muss beim Rechnen vollständig im Speicher der Grafikeinheit liegen. Was nicht hineinpasst, lagert Ollama in den Hauptspeicher aus; das läuft, aber um ein Vielfaches langsamer, und für einen Ablauf, der Rechnungen am Stück verarbeitet, ist es unbrauchbar.

Die Rechnung ist kurz. Ein Modell wird nach seinen Gewichten benannt: 3B sind 3 Milliarden, 70B sind 70 Milliarden. Jedes Gewicht belegt so viele Bits, wie die Quantisierung vorgibt: 16 im Original, 8 bei Q8_0, rund 4,85 bei Q4_K_M, dem Standard bei Ollama. Also:

Gewichte x Bits je Gewicht / 8 = Modelldatei in Byte

  3B  x 4,85 / 8 =   1,8 GB   (ollama.com nennt 2,0 GB)
  8B  x 4,85 / 8 =   4,8 GB   (4,9 GB)
 32B  x 4,85 / 8 =  19,4 GB   (20 GB)
 70B  x 4,85 / 8 =  42,4 GB   (43 GB)
 70B  x 8    / 8 =  74,4 GB   (75 GB, Q8_0)
 70B  x 16   / 8 = 141   GB   (141 GB, FP16)

Dazu kommt der Zwischenspeicher für das Kontextfenster, der mit jedem Token wächst (bei 8B etwa 128 KB je Token, also 1 GB für 8.192 Tokens; bei 70B rund 320 KB), und ein Arbeitspuffer von einem halben Gigabyte. Warum Ollama das Fenster auf einem Bürorechner auf 4.096 Tokens stellt, steht im Beitrag zum Kontextfenster.

Und die Stelle, die den Nachmittag kostet: Eine Grafikkarte mit 16 GB gibt 16 GB her. Ein Mac mit 24 GB gibt der Grafikeinheit nur rund zwei Drittel, weil macOS den Rest für das System reserviert; über 36 GB sind es drei Viertel. Ein 32B-Modell in Q4 passt also nicht auf einen Mac mit 24 GB, obwohl 20 kleiner als 24 ist.

Das ergibt vier Größenklassen, Stand September 2026:

• 3B bis 4B (Llama 3.2, Gemma 3 4B, Qwen3 4B): 2 bis 3 GB. Läuft mit 8 GB Grafikspeicher oder auf einem Mac mit 16 GB. Reicht für Sortieren, Feld auslesen, kurze Antworten mit Material daneben.
• 8B bis 14B (Llama 3.1 8B, Qwen3 8B und 14B, Gemma 3 12B): 5 bis 10 GB. Karte mit 12 bis 16 GB oder Mac mit 24 GB. Die Klasse für die meisten abgegrenzten Aufgaben.
• 27B bis 32B (Gemma 3 27B, Qwen3 32B): 17 bis 20 GB. Karte mit 24 GB oder Mac ab 36 GB. Hier beginnt, was bei offenen Fragen über lange Texte mithält.
• 70B (Llama 3.3): 43 GB in Q4. Zwei Karten mit je 24 GB, eine Serverkarte mit 48 oder 80 GB, oder ein Mac ab 64 GB. Ein Server, kein Arbeitsplatz.

Am 19. September 2026 haben wir das mit dem Rechner aus dem Paket an unserem MacBook Pro (M4 Pro, 24 GB, Ollama 0.32.15) nachgerechnet, 4.096 Tokens Fenster:

Speicher 24 GB (Mac, gemeinsamer Speicher), davon für das Modell nutzbar: 16.1 GB.

Modell          Tag                         Quant.    Datei  Kontext  Gesamt  Passt?
Llama 3.2 3B    llama3.2:3b                 Q4_K_M     2.0      0.4     2.9  ja
Llama 3.1 8B    llama3.1:8b-instruct-q8_0   Q8_0       8.5      0.5     9.5  ja
Qwen3 14B       qwen3:14b                   Q4_K_M     9.3      0.6    10.4  ja
Gemma 3 27B     gemma3:27b                  Q4_K_M    17.0      1.9    19.4  nein
Qwen3 32B       qwen3:32b                   Q4_K_M    20.0      1.0    21.5  nein
Llama 3.3 70B   llama3.3:70b                Q4_K_M    43.0      1.2    44.8  nein

Zur Probe, was Ollama selbst über das Modell sagt, das bei uns läuft:

$ ollama show llama3.2
  Model
    architecture        llama
    parameters          3.2B
    context length      131072
    embedding length    3072
    quantization        Q4_K_M

$ ollama ps
NAME               ID              SIZE      PROCESSOR    CONTEXT    UNTIL
llama3.2:latest    a80c4f17acd5    2.5 GB    100% GPU     4096       4 minutes from now

Die 2,5 GB in „ollama ps“ sind Datei plus Zwischenspeicher für 4.096 Tokens; unser Rechner sagt 2,9 GB, weil er einen pauschalen Puffer zurechnet. Die Abweichung geht in die sichere Richtung.

Was sich dadurch ändert

Drei Dinge, und das dritte wird unterschätzt.

Vertrauliche Unterlagen können durch das Modell laufen, ohne das Haus zu verlassen. Für eine Kanzlei ist das der Unterschied zwischen einem Ablauf, der mit § 43e BRAO und § 203 StGB vereinbar ist, und einem, für den erst ein Auftragsverarbeitungsvertrag und eine Prüfung des Anbieters nötig sind. Eine Einschränkung: Ollama lauscht nur auf dem eigenen Rechner. Wer den Dienst für andere im Haus öffnet, hat einen Dienst ohne Zugangsschutz im Netz; Schlüssel, Warteschlange und Protokoll davor beschreibt der Beitrag „Ein Modell auf dem eigenen Server“.

Die Kosten stecken in der Anschaffung, nicht in der Nutzung. Einmal bezahlt, dann laufen 500 oder 50.000 Aufrufe im Monat, ohne dass eine Rechnung kommt. Was stattdessen kommt: Strom, und jemand, der den Dienst betreibt. Die Rechnung mit Zahlen steht im Beitrag „Was ein Modell im eigenen Haus kostet“.

Das Modell ändert sich nur, wenn du es änderst. Ein Ablauf, der gestern funktioniert hat, funktioniert morgen genauso, weil niemand im Hintergrund eine neue Version ausgerollt hat. Bei einem Anbieter außer Haus wird ein Modell nach Terminplan abgelöst, und ein Prompt, der auf die alte Fassung eingestellt war, liefert auf der neuen andere Ergebnisse. Für einen Ablauf mit Verfahrensdokumentation nach GoBD ist das kein Komfortthema: Die Dokumentation beschreibt ein Verfahren, und das soll bleiben, was es ist.

Was gleich bleibt

Ein lokales Modell erfindet Dinge genauso wie ein Modell in der Cloud. Die Prüfung am Ende eines Ablaufs wird dadurch nicht überflüssig, sie wird wichtiger, weil die größeren Modelle diese Fehler seltener machen als die kleinen, die ins Haus passen.

Unser erster Aufruf am 19. September 2026 zeigt das ohne Umweg: llama3.2 über die Schnittstelle, Temperatur 0, ohne Material.

$ curl -s http://localhost:11434/api/generate -d '{"model":"llama3.2",
    "prompt":"Antworte mit einem Satz: Was ist eine E-Rechnung?","stream":false}'

Eine E-Rechnung ist eine elektronische Rechnung, die über das Internet oder
andere digitale Kanäle gesendet wird.

prompt_eval_count 41   eval_count 29   Dauer 2,2 s   103 Tokens je Sekunde

Der Satz klingt gut und ist nach deutschem Recht falsch: Eine PDF per Mail ist keine E-Rechnung; es muss ein strukturiertes Format nach EN 16931 sein, XRechnung oder ZUGFeRD. Das kleine Modell hat es nicht gewusst und nicht gezögert. Was daraus folgt, ist dasselbe wie bei jedem Modell: Material danebenlegen, Antwort prüfen, nie eine Zahl übernehmen, die nicht aus dem Dokument stammt. Der Beitrag „Was ein Sprachmodell tut“ stellt genau das an einer Rechnung nach.

Was ebenfalls gleich bleibt: Das Kontextfenster hat eine Kante, und eine Stelle in der Mitte eines langen Textes wird schlechter gefunden als am Rand. Der Positionstest im Beitrag zum Kontextfenster lief mit demselben Modell auf demselben Rechner: 5 von 5 am Anfang, 4 von 5 in der Mitte, 23 Sekunden für 12.000 Tokens Eingabe.

Wo der Abstand spürbar ist

Der Abstand hängt von der Aufgabenform ab; die vier Achsen dazu stehen im Beitrag „Welches Modell für welche Aufgabe“. Kurz:

• Abgegrenzte Aufgaben mit Material daneben: Rechnungsnummer, Betrag und Absender aus einer Rechnung lesen, eine Mail in eine von sechs Kategorien legen, ein Protokoll in ein Schema bringen. Hier schafft ein 8B-Modell im Haus, was ein großes schafft; der Unterschied liegt in Nachkommastellen, die die Prüfung am Ende ohnehin abfängt.
• Offene Fragen über lange Texte: einen Vertragsstapel auf Fristen durchsehen, zwei Fassungen vergleichen, einen Entwurf schreiben, der Ton und Sache trifft. Hier ist der Abstand zwischen 8B und einem großen Modell deutlich; 70B hält mit, ist aber ein Server.
• Geschwindigkeit: 103 Tokens je Sekunde für ein 3B-Modell auf einem Laptop sind schneller, als jemand liest. Ein 32B-Modell auf derselben Hardwareklasse liegt eher bei 10 bis 15. Für einen Nachtlauf egal, für einen Assistenten am Arbeitsplatz spürbar.

Was daraus für einen Betrieb folgt

Die Entscheidung lokal oder Cloud hat zwei Eingänge, und beide sind Fragen, keine Technik. Erstens: Was geht durch das Modell? Sobald Mandats-, Personal- oder Patientendaten dabei sind, ist lokal der kürzere Weg, weil die Alternative eine Vertrags- und Prüfstrecke ist. Zweitens: Welche Aufgabenform? Abgegrenzt mit Material daneben läuft im Haus; offen über lange Texte braucht ein großes Modell, also Server mit 48 GB oder Cloud mit Pseudonymisierung vorab.

Dann erst kommt die Technik, und die ist eine Rechnung, keine Meinung: nutzbarer Speicher gegen Modelldatei plus Fenster plus Puffer. Die Prüfliste im Paket führt in sieben Fragen durch beides.

Was es nicht ist

Lokal ist keine Abkürzung um die DSGVO herum. Zweck, Löschfristen und Auskunftsrecht gelten für den Ablauf, egal wo er rechnet. Was wegfällt, ist ein Punkt auf der Liste: die Übermittlung an einen Dritten.

Lokal ist nicht kostenlos. Die Anschaffung ist sichtbar, der Betrieb nicht: Modell aktualisieren, Dienst nach einem Neustart wieder hochbringen, Speicher im Auge behalten, wenn ein zweiter Ablauf dazukommt. Wer dafür niemanden im Haus hat, hat ein Modell am Arbeitsplatz einer Person, keinen Dienst für den Betrieb. Der Beitrag „Wer das betreibt, wenn es läuft“ nimmt das auseinander.

Lokal ist nicht „so gut wie“. Das größte Modell, das in einen Bürorechner passt, ist im September 2026 ein 14B in Q4: brauchbar für abgegrenzte Aufgaben, nicht für offene Fragen über lange Akten. Wer das braucht, rechnet mit einem Server oder mit einem Anbieter außer Haus und der Strecke, die dafür nötig ist.

Zum Nachbauen

Das Paket zu diesem Beitrag enthält den Speicherrechner, die Modellliste, eine Anleitung für die ersten Schritte mit Ollama und die Prüfliste. Entpacken, dann:

• passt_das.py: rechnet für jeden Eintrag der Modellliste aus, ob er in einen gegebenen Speicher passt, mit Angabe von Mac oder Grafikkarte und Kontextfenster. Die Tabelle oben stammt aus diesem Skript
• modelle.json: 20 gängige offene Modelle mit Dateigröße, Quantisierung, größtem Fenster und Zwischenspeicher je Token, Dateigrößen am 19. September 2026 von ollama.com; eigene Modelle als weitere Zeile eintragen
• erste-schritte-ollama.md: Installation, ollama run, was ps und show zeigen, der erste Aufruf über die Schnittstelle mit curl
• pruefliste-lokal-oder-cloud.md: sieben Fragen mit Auswertung, von „was geht durch das Modell“ bis „muss es morgen genauso laufen“

Stand dieses Artikels

Skizze vom 12. September 2026, ausgebaut am 19. September 2026. Die Dateigrößen der Modelle stammen von ollama.com/library an diesem Tag; sie ändern sich mit neuen Fassungen, die Rechnung dahinter nicht. Der Zwischenspeicher je Token ist aus der Architektur gerechnet, nicht gemessen; bei Gemma 3 liegt er wegen des gleitenden Fensters eher zu hoch. Rechner, Aufruf über die Schnittstelle und die Ausgaben von ollama show und ollama ps liefen mit Ollama 0.32.15 und llama3.2 (3,2 Milliarden Gewichte, Q4_K_M) auf einem MacBook Pro mit M4 Pro und 24 GB, Python 3.12.2. Auf diesem Rechner liegt nur dieses eine Modell; die Angaben zu 8B, 32B und 70B sind gerechnet und mit ollama.com abgeglichen, nicht geladen. Die Geschwindigkeit eines 32B-Modells ist ein Erfahrungswert aus früheren Aufbauten, und der Nachmittag mit der 12-GB-Karte war 2025; die sechs Tokens je Sekunde sind Erinnerung, kein Protokoll.

Häufige Fragen