0,5 ExaFLOPS: Was die Telekom-Anlage wirklich für KI-Training bedeutet

0,5 ExaFLOPS sind eine starke Zahl – aber erst die Präzision dahinter entscheidet, ob daraus „KI-Autonomie in Monaten" oder „in Jahren" wird.

Die Telekom Industrial AI Cloud

Die Telekom hat in München (Tucherpark) ihre Industrial AI Cloud gestartet: ~10.000 NVIDIA Blackwell GPUs (DGX B200 + RTX PRO Server) und „bis zu 0,5 ExaFLOPS", betrieben unter deutschen Anforderungen an Datenschutz, Sicherheit und Verfügbarkeit.

Die entscheidende Deutung

Diese 0,5 ExaFLOPS sind sehr plausibel FP64 (HPC-Metrik). Für eine B200 werden grob ~37–40 TFLOPS FP64 angegeben; mal 10.000 landet man genau in der Größenordnung 0,4–0,5 EFLOPS.

Für LLM-Training zählt aber BF16/FP8 – und hier ist die Anlage in einer ganz anderen Liga, wird nur nicht so vermarktet.

Wie schnell wäre ein SOTA-Training?

Nehmen wir als Referenz Llama 3.1-405B mit ~3,8×10²⁵ FLOPs. Aus „>1.000 DGX B200" folgt ≥8.008 B200-GPUs (8 pro DGX) – plus RTX PRO im Restmix, die für ein Pretraining dieser Größenordnung meist nicht der Engpass-Compute wären.

🔹 Überschlag (nur B200-Anteil, BF16 dense):

• Peak: ~8.000 × ~2,25 PFLOPS ≈ 18 EFLOPS (dense, ohne Sparsity)
• Mit realistischer Model-FLOP-Utilization 35–40 % ergibt das effektiv ~6,3–7,2 EFLOPS
• Ergebnis: ~58–70 Tage reines Dauertraining

Wichtig: 58–70 Tage Training ≠ 58–70 Kalendertage. In der Praxis kommen Checkpointing, Ausfälle/Restarts, Evaluation und Tuning dazu. Ein realistischer Puffer ist ~1,5–2×, also grob ~3,5–5 Monate Wall-Clock.

Kosten

Öffentliche Cloud-Raten für B200 liegen grob bei ~$4,7–$8 pro GPU-Stunde (je nach Anbieter/Commitment). Als „Miet-Äquivalent" für 8.000 GPUs wären das:

• ~$0,9–1,54 Mio./Tag
• Über 58–70 Tage: ~$52–108 Mio.

Caveat: Das sind Mietpreise, nicht die internen Kosten der Telekom (Abschreibung, Strom, Auslastungseffekte etc. liegen typischerweise darunter).

Fazit

Unterm Strich: Diese Anlage ist weniger „eine weitere Cloud" und mehr ein Hebel für europäische Handlungsfähigkeit – wenn Zugang, Auslastung und Programme so gestaltet sind, dass nicht nur Großkonzerne profitieren.