llm via @totheagi on X

Kimi K3 2.8T: Frontier-KI auf 80x RTX 5090 GPUs

Kimi K3, ein 2,8T-Parameter-Modell mit offenen Gewichten, läuft auf 80x RTX 5090s mit 20 tok/s—die erste Frontier-KI ohne HBM. Hardware-Vergleich inklusive.

Kimi K3: Ein 2,8-Billionen-Parameter-Modell

Kimi K3 markiert einen bedeutenden Meilenstein in der Entwicklung offener KI-Modelle. Mit 2,8 Billionen Parametern und 104 Milliarden aktivierten Parametern durch eine Mixture-of-Experts-Architektur konkurriert es mit proprietären Modellen wie Claude und GPT-5.6 Sol. Das Modell bietet native Vision-Fähigkeiten und ein Kontextfenster von 1 Million Token, basierend auf Delta Attention und Attention Residuals. Stable LatentMoE aktiviert 16 von 896 gerouteten Experten pro Token und liefert eine circa 2,5-fach bessere Skalierungseffizienz als der Vorgänger Kimi K2. Der technische Bericht hebt die Leistung in Coding-, Agenten-, Wissens-, Reasoning- und Vision-Benchmarks hervor und positioniert das Modell als Frontier-Level-Open-Intelligence für Forscher und Entwickler weltweit.

Betrieb auf 80x RTX 5090 GPUs ohne HBM

Die Deployment-Konfiguration zeigt einen bahnbrechenden Ansatz: 80x RTX 5090 GPUs mit GDDR7-Speicher, ohne HBM, verbunden über 25GbE Ethernet ohne NVLink. Dieses Setup erreicht 2,56 TB Gesamt-VRAM und 143 TB/s aggregierte Speicherbandbreite. Der Tweet-Autor berichtet von 20 Token pro Sekunde für Single-Stream-Inferenz am ersten Tag, ohne Tuning—eine Zahl, die mit weiteren Optimierungen steigen soll. Zum Vergleich: Dasselbe Team verbesserte zuvor GLM-5.2 von 30 auf 110 tok/s auf identischer Hardware. Dies ist das erste Mal, dass Frontier-Level-Intelligenz mit Consumer-Grade-Interconnects statt teurer HBM-ausgestatteter Server-Infrastruktur bereitgestellt wird, was den Zugang zu groß angelegtem KI-Deployment potenziell demokratisiert.

Hardware-Konfigurationen im Vergleich

Die Vergleichstabelle offenbart deutliche Infrastruktur-Trade-offs. Offizielle Serving-Rezepte mit 32x H100 (80G) GPUs über 4 Nodes erreichen 107 TB/s Bandbreite mit HBM3 und NVLink + InfiniBand-Interconnects. Die 16x H200-Konfiguration (141G) liefert trotz größerem Pro-GPU-Speicher nur 77 TB/s über 2 Nodes. Interessanterweise führt das 16x B200-Setup (192G) bei Gesamt-VRAM (3,1 TB) und Bandbreite (128 TB/s), während Single-Node-Konfigurationen wie 8x B300 (288G) und 8x MI355X (288G) jeweils 2,3 TB VRAM und 64 TB/s Bandbreite bieten. Die 143 TB/s Bandbreite der RTX 5090-Konfiguration—ohne HBM oder NVLink erreicht—demonstriert, wie massive GPU-Anzahl Pro-Device-Limitierungen kompensieren kann und eine kosteneffektive Alternative für Teams ohne Zugang zu Datacenter-Hardware bietet.

Benchmark-Leistung über alle Tasks

Die Benchmark-Charts im technischen Bericht zeigen Kimi K3 im direkten Wettbewerb mit Frontier-Modellen. Bei Coding-Tasks wie DeepSWE (37,4), TerminalBench 2.1 (89,8) und FrontierSWE (35,6) liegt es hinter Fable 5 und GPT-5.6 Sol, übertrifft aber Qwen 4.8, GPT-5.5 und QLM-5.2 deutlich. Auf Kimi Code Bench 2.0 (Internal) erreicht es 76,9, ProgramBench zeigt 77,4. Für Agenten-Workloads liefert BrowseComp 91,2, AutomationBench 39,4. Vision-Tasks umfassen GDPixel-AA v2 Elo und JobBench (57,4). CharXiv- und ZebraBench-Evaluierungen demonstrieren Knowledge-Reasoning-Fähigkeiten. Fable-5-Ergebnisse sind mit Vorbehalten zu Archive-Ariadne-Penalties versehen, und alle Fable-5-Resultate schließen bestimmte potenzielle Herausforderungen aus, was direkte Vergleiche nuanciert macht, aber Kimi K3s wettbewerbsfähige Position unter offenen Modellen unterstreicht.

Implikationen für offene KI-Entwicklung

Die Veröffentlichung von Kimi K3 mit vollständigen Modellgewichten stellt einen philosophischen und praktischen Wandel in der KI-Zugänglichkeit dar. Während proprietäre Modelle Leistungsvorsprünge behalten, verringert sich die Lücke—Kimi K3 übertrifft durchgängig andere offene und einige proprietäre Alternativen in der Benchmark-Suite. Die Möglichkeit, Frontier-Scale-Modelle auf Commodity-Hardware wie RTX 5090s ohne HBM oder spezialisierte Interconnects zu betreiben, senkt die Einstiegshürde für Forschungseinrichtungen, Startups und unabhängige Entwickler. Die Architektur-Innovationen des Modells—Delta Attention, Stable LatentMoE, Million-Token-Kontext und kompositionelle Generalisierung—stehen nun für Studium und Adaption zur Verfügung. Während die Optimierung fortschreitet und die Inferenzgeschwindigkeit von der initialen 20-tok/s-Baseline steigt, könnte Kimi K3 die breitere Deployment- und Adoptions-Beschleunigung wirklich offener Frontier-Intelligence über Domänen hinweg vorantreiben.

🎯 Wichtige Erkenntnisse

  • Kimi K3 ist ein 2,8T-Parameter-Open-Weight-Modell mit 104B aktivierten Parametern und 1-Million-Token-Kontext
  • Erste Frontier-KI auf 80x RTX 5090 GPUs ohne HBM, erreicht 143 TB/s Bandbreite via GDDR7 und Ethernet
  • Tag-1-Inferenz mit 20 tok/s Single-Stream, ungetunt, mit Optimierungspotenzial wie GLM-5.2s 30→110 tok/s-Verbesserung
  • Wettbewerbsfähige Benchmarks über Coding-, Agenten-, Wissens- und Vision-Tasks gegen Claude, GPT-5.6 Sol und andere Frontier-Modelle

💡 Kimi K3 demonstriert, dass Frontier-Level-KI auf zugänglicher Hardware ohne Datacenter-exklusive Komponenten wie HBM oder NVLink bereitgestellt werden kann. Das 2,8T-Parameter-Modell erreicht wettbewerbsfähige Leistung über diverse Benchmarks hinweg und läuft auf 80x RTX 5090 GPUs, was neue Möglichkeiten für offene Forschung und Deployment eröffnet. Mit vollständig veröffentlichten Modellgewichten und laufenden Inferenz-Optimierungen repräsentiert Kimi K3 einen bedeutenden Schritt zur Demokratisierung des Zugangs zu State-of-the-Art-KI-Fähigkeiten und zur Beschleunigung der breiteren Adoption offener Frontier-Intelligence.