Ein Modell auf dem eigenen Server

Ein Modell selbst zu betreiben ist technisch einfacher geworden, als die meisten denken. Ollama oder vLLM installieren, ein Modell laden, fertig — das ist eine Stunde Arbeit, und danach antwortet unter einer Adresse im Haus ein Sprachmodell.

Genau an diesem Punkt hören die meisten Anleitungen auf, und genau dort fangen die Fragen an, die im Betrieb zählen. Die wichtigste davon: Wer darf eigentlich darauf zugreifen? Denn die Antwort lautet bei der Standardinstallation: jeder, der die Adresse kennt.

Dieser Artikel behandelt das, was zwischen „es läuft“ und „man kann es benutzen“ liegt. Der Teil, den man nicht überspringen kann, auch wenn er weniger interessant klingt als die Modellwahl. Welches Modell in welchen Speicher passt, steht im Beitrag „Lokale Modelle: was das heißt“; hier geht es um das Stück davor.