Lokale KI: was deine Maschine wirklich ausführt

Das Wesentliche

Zwei Fragen, in dieser Reihenfolge

Sie sind nicht austauschbar. Die erste ist binär: es passt oder es passt nicht. Nur wenn die Antwort „es passt“ lautet, existiert die zweite Frage überhaupt.

Die Rechnung, die 90% der Fragen klärt

theoretische Tokens/s = Bandbreite (GB/s) ÷ GB gelesen pro Token
Tokens/s in der Praxis ≈ 75% dieser Zahl

Ein Beispiel, das oft auftaucht: Der DGX Spark hat 128 GB Speicher und 273 GB/s Bandbreite. Ein komprimiertes Modell mit 70 Milliarden Parametern wiegt etwa 40 GB. Also 273 ÷ 40 ≈ 6,8 Tokens/s als Obergrenze und etwa 4,5 in der Praxis. Es passt mit reichlich Luft — und ist langsamer, als du liest.

Auf der anderen Seite hat die RTX 5090 1792 GB/s, den schnellsten Speicher im Consumer-Bereich. Aber sie hat 32 GB. Dasselbe 40-GB-Modell geht nicht hinein. Das schnellste Förderband am Markt, im Stillstand, weil die Kiste nicht darauf passt.

Zwei teure Maschinen, jede beantwortet eine andere Frage gut. Deshalb ist „welche ist die beste Karte für KI“ eine falsch gestellte Frage.

Vor allem anderen

Wofür willst du es?

Der Einsatz bestimmt die Modellgröße, und die Größe bestimmt die Maschine. Fast alle wählen in der umgekehrten Reihenfolge — sie kaufen die Karte und suchen dann, was darauf läuft. Genau dort geht das Geld verloren.

Der Einsatz und die Modellgröße, die er wirklich verlangt

Die vier Gründe, lokal zu betreiben

Wähle in dieser Reihenfolge: Einsatz → Modellgröße → Maschine. Wer den Kauf bereut, ist der, der den umgekehrten Weg genommen hat.

Bevor du Geld ausgibst

Die 8 Fehler, die zum Kauf der falschen Maschine führen

Sie haben alle dieselbe Wurzel: nur auf eine Zahl schauen — oder auf die Zahl, die der Händler zeigen wollte.

Schnelldiagnose

Was in jeder Speicherklasse wirklich läuft

Angenommen ~Q4-Kompression (der Standard beim Betrieb zu Hause), ein Gespräch normaler Länge und abzüglich dessen, was das Betriebssystem schon belegt. Wenn du nur wissen willst, „reicht meine Karte“, ist das diese Tabelle.

„Läuft gut“ = passt mit Kontextreserve und liefert in dieser Kartenklasse brauchbare Geschwindigkeit. Unterschiedliche Bandbreiten bei gleicher Kapazität verändern die Erfahrung — nutze den Rechner unten für deinen Fall.

Karten stapeln

Zwei Karten, drei Karten — wird es schneller?

Es ist das Erste, was einem einfällt, wenn man liest, dass ein 70B nicht hineinpasst. Die Antwort lohnt sich, bevor du Geld ausgibst: Karten zu stapeln kauft dir Platz, nicht Geschwindigkeit.

Was tatsächlich passiert

In dem Modus, den tatsächlich alle nutzen (Layer-Split, der Standard in llama.cpp, Ollama und LM Studio), wird das Modell nach Schichten auf die Karten verteilt. Um ein Token zu erzeugen, rechnet Karte 1 ihre Schichten, gibt das Ergebnis an Karte 2 weiter und so fort — eine nach der anderen. Summiert verhalten sich drei identische Karten genau wie eine Karte dieser Bandbreite mit dem dreifachen Speicher.

3 Karten × (ein Drittel der Gewichte ÷ 1008 GB/s) = alle Gewichte ÷ 1008 GB/s

Also: der Speicher addiert sich, die Geschwindigkeit nicht. Es ist dieselbe Lektion wie beim Mac-Cluster, der von 117 auf 29 Tokens/s fiel — diesmal in einem einzigen Gehäuse.

Ein echter Aufbau

Drei RTX 4090 (je 24 GB, 1008 GB/s) auf einem Mining-Mainboard mit PCIe-4x-Slots, mit einem 70B: 10–14 Tokens/s gemessen. Würde sich die Bandbreite addieren, wären es rund 57. Die Bandbreite einer Karte gegen ein 70B in Q5/Q6 sagt 13–16 voraus. Die Messung deckt sich mit der Vorhersage.

Warum die langsamen Slots es nicht ruinieren

Beim Layer-Split geht über den Bus zwischen den Karten nur der Aktivierungstensor an der Nahtstelle — einige MB pro Token, nicht die Gewichte. Deshalb funktioniert ein Mining-Board mit 4x-Slots für ein Gespräch auf einmal gut. PCIe zählt beim Laden des Modells und für den Tensor-Parallel-Modus. Praktische Konsequenz: gib kein Geld für ein High-End-Mainboard mit mehreren x16-Slots aus, um lokale KI zu Hause zu betreiben. Das Geld bringt in VRAM mehr.

Wann sich die Bandbreite wirklich addiert

Im Modus Tensor-Parallel (vLLM oder --split-mode row in llama.cpp) wird jede Schicht auf die Karten verteilt und alle arbeiten zusammen. Dann nähert sich die effektive Bandbreite der Summe — aber es braucht einen schnellen Interconnect (NVLink oder mindestens PCIe x8/x16), weil die Karten sich bei jeder Schicht synchronisieren. An x4-Mining-Risern fällt Tensor-Parallel schlechter aus als Layer-Split. Auch viele Nutzer gleichzeitig zu bedienen nutzt mehrere Karten gut aus; diese Seite behandelt ein Gespräch auf einmal.

Die Rechnung, die niemand erwähnt

Drei RTX 5090 ziehen allein etwa 1725 W; mit dem Rest der Maschine rund 1925 W. Ein Stromkreis mit 127 V / 15 A schafft höchstens 1905 W und sollte dauerhaft nicht über ~1524 W laufen. Drei 5090 passen nicht auf einen gewöhnlichen Haushaltskreis dieser Art — es braucht eine eigene Leitung, einen 220-V-Kreis oder weniger Karten. Drei 4090 (~1550 W insgesamt) liegen schon über der Dauergrenze. Dazu die Wärme: das ist ein kleiner Ofen, der im Raum läuft.

Was der Aufbau wirklich braucht

• Mische keine Kartenmodelle. Beim Layer-Split bremst die langsamste die ganze Kette, im Verhältnis zu dem Anteil des Modells, den sie hält. Vier identische Karten bringen mehr als zwei schnelle plus zwei langsame. Das gilt auch über Generationen derselben Marke hinweg.
• Mainboard: zähle die Slots, bevor du die Karten zählst. Du brauchst einen PCIe-Slot pro Karte. Gewöhnliche Desktop-Boards haben einen oder zwei nutzbare. Dual-Sockel-Xeon-Serverboards, auf dem Gebrauchtmarkt verbreitet, kommen auf vier oder mehr — typischerweise zwei mit 16x und der Rest mit 1x — und nehmen 64 bis 512 GB günstigen RAM auf.
• Ein 1x-Slot funktioniert, kostet aber beim Laden. Sobald das Modell im Speicher ist, wird der Bus kaum genutzt: es läuft nur der Aktivierungstensor darüber, ein paar MB pro Token. Aber 40 GB über einen Slot mit ~1 GB/s zu laden dauert Minuten. Einmal geladen, ist die Geschwindigkeit dieselbe wie bei 16x. Ein schmaler Bus kostet Geduld am Anfang, nicht Leistung danach.
• System-RAM: 16 GB sind die Untergrenze. Er wird gebraucht, um das Modell zu laden, bevor es an die Karten geht, und für alles, was auf der CPU läuft. Bei vielen Karten sind 32 GB angenehmer.
• Betriebssystem: Linux ist der normale Weg für einen Multi-Karten-Aufbau, und Ubuntu ist am besten dokumentiert.

Die kurze Version

• Willst du ein größeres Modell unterbringen? Stapeln funktioniert, und es ist oft der billigste Weg zu 48 oder 72 GB.
• Willst du mehr Geschwindigkeit bei einem Modell, das schon passt? Stapeln bringt nichts. Kauf stattdessen eine schnellere Karte.
• Verschiedene Karten mischen? Die langsame bremst die ganze Kette, im Verhältnis zu dem Anteil des Modells, den sie hält.
• Prüfe Steckdose und Netzteil, bevor du die Grafikkarte kaufst. Das ist die Einschränkung, die man zuletzt entdeckt.

Eine ehrliche Einschränkung: in der Praxis verlierst du pro Karte etwas VRAM (Treiberkontext, Puffer) und an der Nahtstelle zwischen den Schichten etwas Geschwindigkeit. Die Rechnung oben ist die Obergrenze.

Ungenutzte Hardware

Ein Mining-Rig, das in der Garage steht?

Als Ethereum den Proof-of-Work verließ, blieben viele mit mehreren identischen Karten, einem kräftigen Netzteil und einem Mainboard voller Slots zurück. Diese Form ist brauchbar — für eine Art von Modell, und nicht für die, die du vermuten würdest.

Der Befund, und er ist widersinnig

Ein Rig hat viel summierten Speicher und moderate Bandbreite. Das ist schlecht für ein dichtes Modell und hervorragend für MoE, weil MoE viel Speicher belegt und pro Token wenig liest. Es ist genau die Form der Hardware. Mit der Formel dieser Seite, auf einem Rig aus 6 × RTX 3060 12G (72 GB, 360 GB/s):

Achte darauf, was nicht passt: ein 120B-MoE verlangt rund 73 GB an Gewichten, und dazu kommen der Kontext und 1,5 GB Runtime pro Karte. Auf sechs 12-GB-Karten überschreitet das die 72 GB. Das Rig führt MoE gut aus — bis zu der Größe, die sein Speicher wirklich trägt.

Pflicht-Einschränkung: die Formel überschätzt MoE — das Routing zwischen den Experten kostet seinen Preis. Die reale Zahl liegt deutlich darunter. Die qualitative Schlussfolgerung hält mit Abstand: wer ein Rig hat, sucht MoE.

Welche Rig-Karten sich lohnen

Regel: unter 8 GB pro Karte lohnt es sich kaum. Ein 8B mit Kontext passt schon nicht in 6 GB.

Die Stromrechnung, und die ist der Knackpunkt

Ein Rig aus 6 × RTX 3060 12G zieht etwa 1170 W. Im 24-Stunden-Betrieb sind das rund 842 kWh pro Monat — der Praktiker, der das berichtet hat, zahlt etwa 1 Real pro kWh, also ungefähr R$ 850. Wer gemined hat, kennt diese Rechnung. Der Unterschied ist, dass es jetzt keine Belohnung in Münzen gibt, die sie ausgleicht. Schalte das Rig ein, wenn du es benutzt, und lass es nicht den ganzen Tag stehen. Für ein mittelgroßes Modell genügen eine oder zwei Karten, bei einem Bruchteil davon.

Die Xeon-Variante: günstiger Speicher statt Karten

Ein Dual-Xeon-Serverboard mit 8 DDR4-Kanälen liefert etwa 150 GB/s — vergleichbar mit einem modernen Mini-PC — und nimmt 128 bis 512 GB günstigen RAM auf. Dieselbe Lektion: MoE macht aus breiter, günstiger Hardware eine brauchbare Maschine. Ein großes dichtes Modell rettet es nicht.

Direktvergleich

Dasselbe Modell auf jeder Maschine

Ändere das Modell im Rechner oben und diese Tabelle baut sich komplett neu auf. Sortiert nach dem, was passt, von schnell nach langsam. Was nicht passt, zeigt die Geschwindigkeit, die es hätte — durchgestrichen, weil sie hypothetisch ist.

Welches Modell herunterladen

Katalog lokaler Modelle

Zu wissen, dass du „ein 8B“ brauchst, sagt dir noch nicht, welche Datei du herunterladen sollst. Klicke auf eine Zeile, um das Modell in den Rechner zu laden, oder geh direkt zu Hugging Face und hol die Datei.

In einem Satz: diese Tabelle ist die Abkürzung; Hugging Face ist das Archiv.

Wie man eine Modellseite liest und das Modell hierher bringt

Wenn du ein Modell auf Hugging Face öffnest, suche den Reiter Files. Dort liegen die Dateien, die du wirklich herunterlädst. Drei Dinge zählen:

• Der Name trägt die Größe. Llama-3.1-8B ist ein Modell mit 8 Milliarden Parametern. Das ist die Zahl, die der Rechner im Modus „Parameter“ will.
• Das Suffix ist die Kompression. Q4_K_M, IQ4_XS, Q8_0. Die Zahl nach dem Q ist grob die Anzahl der Bits pro Gewicht. Q4 ist der Standard für den Heimgebrauch.
• Die GB neben der Datei sind nicht der Speicher, den du verbrauchst. Sie sind nur die Downloadgröße. Der Kontext fehlt — deshalb addiert der Rechner ihn separat.

Wenn du die Datei vor dir hast und nur ihre Größe in GB kennst, nutze im Rechner den Modus „Ich kenne die Dateigröße“: er rechnet für dich in Parameter um, mit der Kompression, die du gewählt hast.

Ein Hinweis für Einsteiger: Manche offiziellen Modelle (etwa die von Meta) sind gated — Hugging Face verlangt ein Konto und die Zustimmung zur Lizenz, bevor der Download freigegeben wird. Es ist nichts kaputt; das ist die Lizenz. GGUF-Konvertierungen der Community sind meist offen, und genau die zeigen die Suchlinks unten zuerst.

Q4 GB ist die typische Größe der heruntergeladenen Datei — kein Benchmark und nicht der Speicher im Betrieb. Auf dieser Maschine wendet die Formel der Seite mit dem Speicher, der Bandbreite und dem Kontext an, die du im Rechner oben gewählt hast: ändere dort die Hardware und diese ganze Spalte baut sich neu auf. Alle Zeilen nutzen dasselbe Token-Budget; was sich ändert, ist der Speicher, den es kostet — proportional zur Größe des Modells. Das ist kein llama-bench.

Lies die MoE-Zahlen mit Abschlag. Die Formel nimmt an, dass nur die aktiven Parameter gelesen werden, und das ergibt eine zu optimistische Obergrenze: das Routing zwischen den Experten kostet etwas. Ein Fall aus unserer eigenen Messtabelle: gpt-oss 120B wurde auf einem Mac Studio mit 70–80 Tok/s gemessen, deutlich unter dem, was die einfache Division nahelegt. Nimm die Spalte bei MoE als „es wird schnell sein“, nicht als die Zahl.

Realität

Zahlen, die andere gemessen haben

Der Rechner liefert die Schätzung. Dies sind veröffentlichte Messungen Dritter — nützlich, um Erwartungen zu kalibrieren und den Einfluss der Software zu sehen. Filtere nach dem, was dich interessiert.

gemessen veröffentlichte Messung · Schätzung Formel angewandt, keine Messung. Alle bei der Antwortgenerierung, ein Gespräch auf einmal.

Was diese Tabelle lehrt und die Formel nicht

• Die Software zählt fast so viel wie die Karte. Gleiches Modell, gleicher Mac: 26–28 Tok/s in einer Laufzeitumgebung, 17,8 in einer anderen, 5–7 in einer dritten mit Werkseinstellungen. Bevor du die Hardware wechselst, wechsle die Software.
• MoE verändert das Spiel in der Mittelklasse. Ein 30B-MoE mit 3B aktiven Parametern läuft mit 30–40 Tok/s auf einer iGPU, auf der sich ein dichtes 27B mit 5–8 quält. Gleicher belegter Speicher, sechsfache Geschwindigkeit.
• Zusätzliche Kapazität ist keine zusätzliche Geschwindigkeit. Die RTX PRO 6000 hat 96 GB gegenüber 32 GB der 5090 — und genau dieselbe Bandbreite. Sie lässt dich ausführen, was nicht passte; sie lässt dich nicht schneller ausführen, was schon passte.
• Ein kleines Modell nutzt eine große Karte nicht aus. Ein 1B-Modell erreichte 281 Tok/s. Du wirst den Unterschied zwischen 200 und 280 nicht spüren — in dieser Größe genügt jede moderne Karte.

Schritt für Schritt

So findest du deine zwei Zahlen

Nichts zu installieren. Es dauert eine Minute.

Referenztabelle: Bandbreite pro Karte

Den Namen deiner Karte im Task-Manager gefunden? Ihre Bandbreite steht hier. Zahlen aus den offiziellen Herstellerangaben.

Rezepte

Fünf Aufbauten, mit ehrlichen Zahlen

Jedes Rezept sagt, was du bekommst und was du aufgibst. Die Tokens pro Sekunde stammen aus der Formel dieser Seite, bei 8k Kontext — Schätzungen, keine Benchmarks. Die Watt-Angaben gelten für die ganze Maschine: Karten plus 150 W für den Rest.

Entscheidung

Kaufberatung nach Ziel

Es gibt kein „das Beste“. Es gibt das Richtige für das, was du vorhast. Jede Empfehlung unten nennt, was du dafür aufgibst.

Vokabular

Glossar ohne Fachjargon

Die Begriffe, die dir in jedem Tutorial begegnen, in klarem Deutsch.

Token

Ein Wortfragment. Im Deutschen entspricht ein gewöhnliches Wort meist 1 bis 3 Tokens. „Tokens pro Sekunde“ ist praktisch die Geschwindigkeit, mit der Text auf dem Bildschirm erscheint.

Parameter (das „8B“, „70B“)

Wie viele Milliarden Zahlen das Modell hat. Das ist die „Werksgröße“ und nicht die Größe der Datei, die du herunterlädst — die Datei hängt von der Kompression ab.

Quantisierung (Q4, Q8, IQ4_XS)

Die Gewichte komprimieren, jede Zahl mit weniger Stellen speichern. Q4 nutzt etwa 4 Bits pro Gewicht, Q8 nutzt 8. Weniger Bits: das Modell belegt weniger, läuft schneller und verliert etwas Qualität. Q4 ist der Standard beim Betrieb zu Hause — der Verlust ist klein, der Gewinn enorm. Varianten wie IQ4_XS pressen noch etwas weiter und sind manchmal der Unterschied zwischen passen und nicht passen.

VRAM und Unified Memory

VRAM ist der exklusive Speicher der Grafikkarte — schnell und nicht erweiterbar. Unified Memory (Macs, manche Mini-PCs) ist ein einziger Topf, geteilt zwischen Prozessor und GPU: flexibler, fast immer mit weniger Bandbreite als eine dedizierte Karte.

Speicherbandbreite (GB/s)

Wie viele Gigabyte der Speicher pro Sekunde liefert. Das ist die Zahl, die die Generierungsgeschwindigkeit entscheidet. In der Anzeige steht sie selten; im Datenblatt des Herstellers immer.

Kontext und KV-Cache

Kontext ist, wie viel sich das Modell vom Gespräch und den offenen Dateien „merkt“. Der KV-Cache ist der Speicher, den das belegt — und er ist in der Modelldateigröße nicht enthalten. Deshalb belegt ein „6,6-GB-Modell“ real 17,9 GB.

Dicht vs. MoE (Mixture of Experts)

Ein dichtes Modell liest für jedes Token alle seine Gewichte. Ein MoE ist in Experten geteilt und aktiviert nur einige davon: es braucht den ganzen Speicher, um zu passen, liest aber pro Token wenig. Deshalb belegt ein „30B-A3B“ (30 Milliarden gesamt, 3 aktiv) wie ein großes Modell und läuft wie ein kleines.

Offload

Wenn das Modell nicht vollständig auf die Karte passt, lässt die Software einen Teil der Schichten im Systemspeicher und rechnet sie auf dem Prozessor. Es funktioniert — und es ist deutlich langsamer, weil dieser Teil die Bandbreite der Karte verliert und stattdessen von RAM und CPU abhängt. Es ist dafür da, auszuführen, was nicht hineinpasste; nicht dafür, schnell zu laufen.

Prefill und Decode

Prefill ist das Lesen deiner Frage — es hängt an der Rechenleistung der GPU. Decode ist das Schreiben der Antwort — es hängt an der Speicherbandbreite. Der Rechner auf dieser Seite schätzt das Decode, also den Teil, den du spürst, während der Text erscheint.

GGUF, Ollama, LM Studio, llama.cpp, MLX

GGUF ist das häufigste Dateiformat komprimierter Modelle. llama.cpp ist die Engine, die dieses Format ausführt; Ollama und LM Studio sind freundlichere Wege, dieselbe Engine zu nutzen (LM Studio hat eine grafische Oberfläche und ist der einfachste Einstieg). MLX ist Apples Engine, auf M-Chips optimiert — auf einem Mac meist deutlich schneller als die Alternativen.

NPU und TOPS

Eine NPU ist ein Chip für KI-Aufgaben, gemessen in TOPS. Sie ist hervorragend für Audiotranskription und Bildverarbeitung. Sie löst den Engpass eines großen LLM nicht, und der ist die Speicherbandbreite. Hohe TOPS im Marketing bedeuten keine hohen Tokens pro Sekunde.

Transparenz

Quellen, Methode und Grenzen

Woher die Zahlen kommen

StudyMarkets hat diesen Leitfaden auf öffentlichen Messungen und Erklärungen Dritter aufgebaut. Die Kernformel (Bandbreite ÷ Größe, Praxis ≈ 75%), das Lineal von 6 vs. 30 Tokens/s und die Beispiele zum Speicherverbrauch stammen vor allem vom Kanal ViktorKav. Die gemessenen Tokens pro Sekunde kommen von den unten genannten Kanälen und Seiten. Die Bandbreitenangaben der Karten stammen aus der offiziellen Herstellerdokumentation.

• ViktorKav (@VKav) — Formel, Lineal und Beispiele. Apple hat NVIDIA die lokale KI abgenommen · Die richtige lokale KI für 4, 8 und 16 GB · Kanal
• Alex Ziskind (@AZisk) — 5090 vs. 5080 vs. Notebook vs. Mac, Mac-mini-Cluster. Kanal
• Jeff Geerling — Mac Studio im Cluster über Thunderbolt 5. Kanal · Artikel
• NetworkChuck — 5 Mac Studios im Netz: der Absturz von 117 auf 29 Tokens/s. Kanal
• ttio2tech — 3090 vs. 5090 beim gleichen 27B-Modell.
• MyAIHardware — llama.cpp-Tabelle auf 5090 / 4090 / 3090 / Mac. Benchmarks
• Unsloth — Größen und Qualität der GGUF-Kompressionen. Dynamic 3.0 GGUFs
• HWCooling und Phoronix — integrierte Grafik und der Bandbreiten-Engpass. HWCooling · Phoronix

Was diese Seite nicht ist

• Sie ist kein Benchmark. Sie ist eine Schätzung der Größenordnung für eine Kaufentscheidung. Echte Zahlen hängen von Software, Version, Kontext und Konfiguration ab.
• Die 75%-Regel ist bei kleinen Modellen optimistisch. Bei einem Modell mit 8 Milliarden Parametern liegt die beobachtete reale Effizienz näher bei 55% der Obergrenze; bei großen Modellen trifft die Regel gut zu.
• Sie deckt nur die Antwortgenerierung ab. Das Lesen deines Prompts hängt an der Rechenleistung der GPU und geht in diese Rechnung nicht ein.
• Keiner der genannten Kanäle unterstützt dieses Werkzeug. Die Messungen sind ihre; die Rechnung und der Text sind unsere.
• Weicht das offizielle Datenblatt deiner Maschine von einem Preset ab, vertraue dem Datenblatt und nutze den Modus Benutzerdefiniert.

Zitierhinweis

StudyMarkets. Lokale KI: was deine Maschine wirklich ausführt, 2026. Generierungsformel: Speicherbandbreite ÷ pro Token gelesene Größe (ViktorKav, „Apple hat NVIDIA die lokale KI abgenommen“, YouTube). Tokens pro Sekunde gemessen von den auf der Seite genannten Kanälen und Seiten.