Claude lokal installieren geht nicht, diese KI Modelle laufen wirklich auf eurem Rechner

Die Frage kommt in fast jedem Workshop. Kann ich Claude lokal installieren, auf meinem Laptop oder auf einem Server im Büro? Die kurze Antwort ist nein. Es gibt keinen Download, kein Installationspaket und keine Datei mit den Gewichten. Claude läuft ausschließlich bei Anthropic und bei ausgewählten Cloud Partnern.

Trotzdem kursieren Anleitungen mit Titeln wie „Claude lokal kostenlos nutzen“. Die meisten meinen etwas anderes, als ihr Titel verspricht. Wir zeigen euch, was dahintersteckt, welche offenen Modelle ihr wirklich lokal betreiben könnt und warum die Hardware bei den großen Modellen schnell zur Wand wird.

Kann man Claude lokal installieren

Nein. Ein KI Modell besteht im Kern aus seinen Gewichten. Das sind Milliarden Zahlen, die beim Training entstehen. Wer ein Modell lokal betreiben will, braucht genau diese Datei. Anthropic hat die Gewichte von keinem Claude Modell je veröffentlicht. Es gibt kein Repository auf Hugging Face und keine Community Edition.

Ihr erreicht Claude deshalb nur auf drei Wegen:

• Die Claude Apps im Browser, auf dem Desktop und auf dem Handy
• Die Anthropic API für eigene Anwendungen und Tools
• Cloud Partner wie AWS Bedrock oder Google Vertex AI

Auch die Claude Desktop App ändert daran nichts. Sie ist nur ein Fenster. Jede Anfrage geht über das Netz zu Anthropic. Ohne Internet passiert nichts.

Warum Claude nicht lokal läuft

Anthropic verkauft Zugang zu Claude. Die Einnahmen aus API und Abos finanzieren die nächsten Trainingsläufe. Dazu kommt das Thema Sicherheit. Veröffentlichte Gewichte lassen sich nicht zurückholen. Jeder könnte die Schutzmechanismen per Fine Tuning entfernen. Beides spricht dafür, dass sich daran so schnell nichts ändert.

Selbst wenn die Gewichte morgen auftauchen würden, hättet ihr ein zweites Problem. Anthropic nennt keine Parameterzahlen. Die offenen Modelle, die in Benchmarks in die Nähe von Claude kommen, liegen aber im Bereich von rund einer Billion Parametern. Wie viel Speicher so ein Modell braucht, seht ihr weiter unten. Auf einen normalen Rechner passt das nicht.

Claude Code lokal mit Ollama nutzen

Jetzt zu den Anleitungen, die „Claude lokal“ versprechen. Fast alle meinen Claude Code. Das ist der Coding Agent von Anthropic, der im Terminal läuft. Der Agent selbst liegt tatsächlich auf eurem Rechner. Das Modell dahinter war bisher immer Claude in der Cloud.

Seit Version 0.14 spricht Ollama dieselbe API wie Anthropic. Damit könnt ihr Claude Code auf ein lokales Modell umleiten. Zwei Umgebungsvariablen reichen, so steht es in der Ollama Doku zur Anthropic Kompatibilität:

ollama pull qwen3-coder
export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3-coder

Das funktioniert. Aber seid euch klar, was da passiert. Ihr nutzt die Oberfläche von Claude Code mit einem ganz anderen Modell. In diesem Beispiel antwortet Qwen3 Coder von Alibaba, nicht Claude. Ollama empfiehlt dafür mindestens 32K Token Kontext, sonst bricht der Agent bei größeren Aufgaben weg.

Warum der Agent oft mehr ausmacht als das Modell, haben wir in Agent Harness, warum der Coding Agent mehr ausmacht als das KI Modell beschrieben. Wir selbst setzen in Production auf OpenCode. Der Agent ist quelloffen und bindet lokale Modelle über Ollama direkt an, ohne Umweg über eine fremde API.

Welche KI Modelle kann man lokal installieren

Lokal laufen nur Modelle mit offenen Gewichten. Davon gibt es inzwischen viele. Für den Einstieg reichen diese:

• Qwen3 Coder 30B von Alibaba ist ein Coding Modell mit 30 Milliarden Parametern, von denen pro Token nur gut 3 Milliarden aktiv sind. Darum läuft es auf guten Arbeitsrechnern flott. Unsere Einordnung steht auf der Seite Qwen3 Coder für lokales Vibe Coding.
• gpt-oss 20B ist das kleine offene Modell von OpenAI unter Apache 2.0 Lizenz. Es passt in 16 GB Speicher.
• Llama von Meta ist der Klassiker für Texte, Zusammenfassungen und Datenverarbeitung.
• Gemma von Google und Devstral von Mistral decken weitere Größen ab, vom Laptop bis zur Workstation.

Einen aktuellen Überblick mit Hardware Stufen findet ihr in Ollama Modelle für AI und Vibe Coding und im Vergleich der besten Coder Modelle für lokale Nutzung. Wie gut die Modelle mit Tools und MCP Servern umgehen, zeigt KI Modelle für MCP und Tool Handling.

Hardware Anforderungen für lokale KI Modelle

Entscheidend ist der Speicher. Das ganze Modell muss in den Grafikspeicher passen oder auf einem Mac in den gemeinsamen Arbeitsspeicher. Reicht der nicht, lagert die Software Teile in den normalen RAM aus. Dann läuft es zwar, aber sehr langsam. Die Werte gelten für komprimierte Versionen mit rund 4 Bit pro Gewicht, so wie Ollama sie standardmäßig lädt:

Modell	Parameter	Speicherbedarf	Passende Hardware
gpt-oss 20B	21 Milliarden, 3,6 aktiv	rund 16 GB	Laptop oder Mac mit 16 GB und mehr
Qwen3 Coder 30B	30 Milliarden, 3,3 aktiv	rund 19 GB	Grafikkarte mit 24 GB oder Mac mit viel Unified Memory
gpt-oss 120B	117 Milliarden, 5,1 aktiv	rund 80 GB	Eine Rechenzentrums GPU wie die H100
Kimi K2	1 Billion, 32 Milliarden aktiv	rund 620 GB	Mehrere Rechenzentrums GPUs im Verbund
Claude	nicht veröffentlicht	nicht verfügbar	Nur über Anthropic und Cloud Partner

Die Zahlen für Kimi K2 stammen aus der Übersicht von llmrun zu Kimi K2 Instruct. Ohne Kompression braucht das Modell sogar rund 2 TB. Mit extrem starker Kompression auf unter 2 Bit schrumpft es auf gut 240 GB, verliert dabei aber spürbar an Qualität und wird sehr langsam.

Und Qwen3 Coder ohne Grafikkarte? Das geht mit rund 32 GB Arbeitsspeicher, aber nur für Aufgaben, bei denen ihr nicht auf die Antwort wartet.

Warum große KI Modelle nicht auf den eigenen Rechner passen

Schaut noch mal auf die Tabelle. Zwischen dem besten Arbeitsrechner und einem Modell der Billionen Klasse liegt Faktor 25 beim Speicher. Das ist kein Upgrade, das ist eine andere Liga. Dazu kommen Strom, Kühlung, Wartung und Updates bei jedem neuen Modell. Und das neue Modell ist meistens größer.

Für Teams heißt das: Ein Modell auf Claude Niveau holt ihr euch nicht in den Serverschrank. Die kleinen Modelle sind dafür richtig gut in dem, wofür sie gebaut sind. Mehr dazu in Kleines KI Modell selbst hosten mit Ollama und n8n und in Domänenspezifische KI ist oft die bessere Wahl.

Lokale KI und Cloud Modelle im Team sinnvoll kombinieren

Bei uns gilt eine einfache Regel. Coding kommt aus der Cloud, Datenverarbeitung aus dem eigenen Netzwerk.

• Lokal laufen kleine Modelle wie Qwen3 Coder und Llama über Ollama. Sie sortieren Daten, fassen Texte zusammen und helfen bei kleinen Coding Aufgaben.
• Große Coding Modelle wie GLM, Kimi oder DeepSeek nutzen wir über Anbieter wie Ollama Cloud oder Z.ai. Wer europäische Inferenz braucht, findet sie bei TensorX, für Enterprise Anforderungen bei unserem Netzwerkpartner Conversis in Duisburg.
• Echte Kundendaten bleiben draußen. Coding Modelle arbeiten bei uns gegen lokale Dev Setups mit anonymisierten Testdaten.

Welches Modell zu welcher Aufgabe passt, ordnen wir laufend in den Vibe Coding Modellen ein. Wenn ihr ohne US Anbieter auskommen wollt, hilft der Guide zur Modellauswahl ohne US Anbieter. Und damit der Agent egal mit welchem Modell im Rahmen bleibt, lohnt ein Blick auf OpenCode Permissions richtig einstellen.

Fazit

Claude lokal installieren geht nicht und wird so schnell auch nicht gehen. Claude Code könnt ihr mit Ollama an ein lokales Modell hängen, dann arbeitet ihr aber mit Qwen, gpt-oss oder Llama. Kleine offene Modelle laufen ab 16 GB Speicher richtig gut. Alles in der Größe von Claude braucht Hardware aus dem Rechenzentrum. Plant deshalb mit beiden Welten: klein und lokal für eure Daten, groß aus der Cloud fürs Coding.