Welches KI-Modell passt auf meine Grafikkarte?
Lokale KI ist am schnellsten, wenn das ganze Modell in den Grafikspeicher (VRAM) passt. Wähle deine Grafikkarte und die Kontextlänge – der Rechner zeigt, welche Coding-Modelle komplett hineinpassen.
Alle Modelle im Überblick
Geschätzter Bedarf an Grafikspeicher je Kontextlänge – berechnet wie unten beschrieben. „Passt komplett ab“ gilt für 16.000 Token Kontext.
| Modell | Datei | KV-Cache je Token | 8K Kontext | 16K Kontext | 32K Kontext | Passt komplett ab |
|---|---|---|---|---|---|---|
| Qwen2.5-Coder 1.5B 1,5 Mrd. Parameter | 1,0 GB | 28 KB | 1,9 GB | 2,4 GB | 3,2 GB | 4 GB |
| Qwen2.5-Coder 3B 3 Mrd. Parameter | 2,0 GB | 36 KB | 3,0 GB | 3,5 GB | 4,6 GB | 6 GB |
| Qwen2.5-Coder 7B 7 Mrd. Parameter | 4,4 GB | 56 KB | 5,7 GB | 6,6 GB | 8,4 GB | 10 GB |
| Qwen2.5-Coder 14B 14 Mrd. Parameter | 8,4 GB | 192 KB | 11,0 GB | 13,1 GB | 17,4 GB | 16 GB |
| gpt-oss 20B MoE: 21 Mrd. Parameter, 3,6 Mrd. aktiv | 11,3 GB | 24 KB | 13,0 GB | 14,2 GB | 16,5 GB | 16 GB |
| Qwen3-Coder 30B-A3B MoE: 30,5 Mrd. Parameter, 3,3 Mrd. aktiv | 17,3 GB | 96 KB | 19,0 GB | 20,3 GB | 22,8 GB | 24 GB |
| Qwen2.5-Coder 32B 32 Mrd. Parameter | 18,5 GB | 256 KB | 21,6 GB | 24,2 GB | 29,5 GB | 32 GB |
So rechnen wir
Bedarf an Grafikspeicher = Modelldatei + KV-Cache + Rechenpuffer + 0,5 GB für Treiber und Laufzeit.
- Modelldatei: die echte Größe der GGUF-Datei, die VibeCoder Studio herunterlädt (Q4_K_M, bei gpt-oss MXFP4).
- KV-Cache: das Gedächtnis für den Kontext. Je nach Modell 24 bis 256 KB pro Token – berechnet aus den Architekturdaten der Modelle (Schichten, KV-Köpfe, Kopfgröße) und an unseren Messungen geprüft.
- Rechenpuffer: Platz für Zwischenergebnisse beim Einlesen langer Eingaben; er wächst ebenfalls mit dem Kontext. Wir rechnen vorsichtig – ohne die Speicher-Sparfunktion Flash Attention, die nicht auf jeder Grafikkarte aktiv ist.
- Windows, Bildschirm und Browser belegen selbst Grafikspeicher. „Passt komplett“ heißt deshalb: mindestens 1,5 GB Luft. Ab 0,75 GB Luft zeigen wir „knapp“.
Alle Werte sind Richtwerte, Stand November 2026. Größen wie bei Grafikkarten üblich in GB (1 GB = 1.024 MB).
Gemessen auf unserem Test-PC
NVIDIA GeForce RTX 5080 (16 GB), AMD Ryzen 7 7800X3D, 32 GB Arbeitsspeicher, Windows 11. Die Werte sind Mediane über 18 bis 46 Antworten auf Coding-Aufgaben.
| Modell | Laufzeit | Kontext | Ausgabe (Token/s) |
|---|---|---|---|
| Qwen2.5-Coder 7B | VibeCoder Studio (llama.cpp, Vulkan) | 32K | 133 |
| gpt-oss 20B | Ollama (CUDA) | 40K | 139 |
| Qwen3-Coder 30B-A3B | Ollama (CUDA), teilweise im Arbeitsspeicher | 16K | 69 |
Qwen3-Coder 30B-A3B passt nicht komplett in 16 GB. Weil pro Token nur 3,3 Mrd. seiner Parameter rechnen, bleibt es mit teilweiser Auslagerung trotzdem flott. Die Ollama-Messungen liefen mit Flash Attention – damit brauchte gpt-oss 20B bei 40K nur ca. 12,8 GB. Der Rechner oben rechnet vorsichtig ohne Flash Attention und zeigt deshalb ab 32K „Zu groß“.
Häufige Fragen
Wo sehe ich, wie viel Grafikspeicher ich habe?
Unter Windows: Task-Manager öffnen (Strg + Umschalt + Esc), auf „Leistung“ und dann auf „GPU“ klicken. Maßgeblich ist der „Dedizierte GPU-Speicher“. „Gemeinsamer GPU-Speicher“ ist normaler Arbeitsspeicher und zählt hier nicht.
Brauche ich eine NVIDIA-Grafikkarte?
Nein. VibeCoder Studio nutzt llama.cpp mit Vulkan – das unterstützt Grafikkarten von NVIDIA, AMD und Intel.
Was passiert, wenn ein Modell nicht passt?
Dann läuft es ganz oder teilweise über Prozessor und Arbeitsspeicher. Das funktioniert, ist aber langsamer – wie stark, hängt vom Modell ab. Die kleinen Modelle Qwen2.5-Coder 1.5B und 3B sind auch auf dem Prozessor gut nutzbar.
Warum braucht mehr Kontext mehr Speicher?
Für jedes Token im Kontext hält das Modell Zwischenwerte bereit, den sogenannten KV-Cache. Bei Qwen2.5-Coder 14B sind das 192 KB pro Token – bei 32.000 Token also rund 6 GB zusätzlich zur Modelldatei.
Und Laptop-Grafikkarten?
Laptop-Versionen haben oft weniger Grafikspeicher als die gleichnamige Desktop-Karte. Wähle dann oben „Andere – Grafikspeicher selbst wählen“ und stelle den Wert aus dem Task-Manager ein.
VibeCoder Studio hilft dir bei der Modellwahl
Beim ersten Start prüft VibeCoder Studio deinen PC und schlägt Modelle vor, die zu deiner Hardware passen. Gratis-Plan zum Ausprobieren.