Kimi K3 läuft auf verteilten RTX-GPUs im Internet

Verteilte Inferenz auf Consumer-Hardware

Ein bahnbrechendes Experiment demonstriert die Ausführung von Kimi K3, einem Sprachmodell mit 2,78 Billionen Parametern, über geografisch verteilte Consumer-GPUs, die über das offene Internet verbunden sind. Der Test verglich zwei unterschiedliche Hardware-Konfigurationen: Ring 1 nutzte 16 RTX 5090 Grafikkarten, während Ring 2 mit 6 RTX Pro 6000 GPUs arbeitete – alle auf verschiedenen Knoten in Europa verteilt. Beide Konfigurationen führten das Modell erfolgreich mit REAP bei 80% Effizienz und DSpark-Orchestrierung aus. Dieser Ansatz stellt die gängige Annahme in Frage, dass massive Sprachmodelle zentralisierte Rechenzentrumsinfrastruktur benötigen, und zeigt, dass verteilte Consumer-Hardware Billionen-Parameter-Workloads bewältigen kann, wenn sie über Netzwerkgrenzen hinweg richtig koordiniert wird.

Leistungsmetriken: Tokens pro Sekunde

Die Leistungscharakteristika unterschieden sich erheblich zwischen den beiden Hardware-Ringen. Ring 1 mit 16 RTX 5090s erreichte etwa 2,2 Tokens pro Sekunde mit DSpark-Orchestrierung, während Ring 2 mit 6 RTX Pro 6000 ungefähr 7,3 Tokens pro Sekunde lieferte – mehr als dreimal schneller trotz weniger GPUs. Im Greedy-Dekodierungsmodus produzierte Ring 1 etwa 0,6 Tokens pro Sekunde verglichen mit Ring 2s 2,6 Tokens pro Sekunde. Diese Zahlen zeigen, dass die RTX Pro 6000 Karten deutlich bessere Pro-GPU-Leistung für große Modell-Inferenz bieten, obwohl beide Konfigurationen sich als geeignet erwiesen, um das massive 93-Schichten-Modell Kimi K3 über verteilte, via Standard-Internet verbundene Knoten auszuführen.

Leistungsgewinne durch spekulative Dekodierung

Einer der bemerkenswertesten Befunde betrifft Speedups durch spekulative Dekodierung, eine Technik, die mehrere Tokens im Voraus vorhersagt, um die Inferenz zu beschleunigen. Ring 1 erreichte etwa 2,1-fache Beschleunigung mit aktivierter spekulativer Dekodierung, während Ring 2 eine 2,8-fache Verbesserung gegenüber der Baseline-Greedy-Dekodierung lieferte. Diese Technik erweist sich als besonders wertvoll in verteilten Umgebungen, wo Netzwerklatenz zwischen Knoten sonst die Leistung beeinträchtigen könnte. Die Draft-Acceptance-Raten – wie oft spekulierte Tokens korrekt sind – waren mit etwa 5,3 für Ring 1 und 5,0 für Ring 2 ähnlich. Diese Metriken zeigen, dass spekulative Dekodierung selbst bei über mehrere geografische Standorte verteilten Modellen hocheffektiv bleibt und hilft, die typischen Leistungseinbußen bei Inferenz über öffentliches Internet auszugleichen.

First-Token-Latenz und Aufwärmzeiten

Die Zeit bis zum ersten Token stellt eine kritische Nutzererfahrungs-Metrik dar, besonders für interaktive Anwendungen. Ring 1 mit den 16 RTX 5090s zeigte eine Warm-Start-Latenz von 45-60 Sekunden vor Produktion des ersten Tokens, während Ring 2s 6 RTX Pro 6000 dramatisch schnellere Performance bei etwa 2,3 Sekunden erreichten. Dieser erhebliche Unterschied reflektiert wahrscheinlich sowohl die überlegene Pro-GPU-Rechenleistung der Pro 6000 Hardware als auch den reduzierten Koordinierungsaufwand beim Management weniger verteilter Knoten. Für Produktionsanwendungen, die responsive Nutzerinteraktionen erfordern, wäre die schnellere First-Token-Latenz der kleineren aber leistungsstärkeren GPU-Konfiguration essentiell. Beide Setups bewältigten erfolgreich alle 93 Schichten der Kimi K3 Modellarchitektur, mit signierten Receipts, die vollständige Layer-Ausführung über die verteilte Infrastruktur bestätigen.

Implikationen für dezentrale KI-Infrastruktur

Dieses Experiment validiert die technische Machbarkeit, Frontier-Scale-Sprachmodelle auf verteilter Consumer-Hardware mit Standard-Internetverbindungen auszuführen, statt speziell gebaute Rechenzentrumsinfrastruktur zu benötigen. Die erfolgreiche Orchestrierung von 2,78 Billionen Parametern über geografisch getrennte Knoten in Europa demonstriert, dass dezentralisierte KI-Inferenz-Infrastruktur für Organisationen ohne Zugang zu zentralisierten GPU-Clustern praktikabel werden könnte. Die Leistungsunterschiede zwischen Konfigurationen verdeutlichen wichtige Trade-offs: zahlreichere aber weniger leistungsstarke GPUs (Ring 1) versus weniger High-End-Karten (Ring 2). Während Modelle weiter wachsen, werden Techniken wie REAP, DSpark-Orchestrierung und spekulative Dekodierung entscheidend, um verteilte Inferenz praktikabel zu machen und potenziell den Zugang zu massiven Sprachmodellen zu demokratisieren.