0,5 ExaFLOPS: Wat de Telekom-installatie werkelijk betekent voor AI-training

0,5 ExaFLOPS is een sterk getal – maar pas de precisie erachter bepaalt of het „AI-autonomie in maanden" of „in jaren" wordt.

De Telekom Industrial AI Cloud

Deutsche Telekom heeft in München (Tucherpark) haar Industrial AI Cloud gelanceerd: ~10.000 NVIDIA Blackwell GPU’s (DGX B200 + RTX PRO Servers) met „tot 0,5 ExaFLOPS", beheerd onder Duitse vereisten voor gegevensbescherming, beveiliging en beschikbaarheid.

De beslissende interpretatie

Deze 0,5 ExaFLOPS zijn zeer waarschijnlijk FP64 (HPC-metriek). Voor een B200 wordt ruwweg ~37–40 TFLOPS FP64 opgegeven; vermenigvuldigd met 10.000 kom je precies in de orde van grootte 0,4–0,5 EFLOPS.

Voor LLM-training telt echter BF16/FP8 – en hier speelt de installatie in een heel andere competitie, alleen wordt dat niet zo vermarkt.

Hoe snel zou een SOTA-training zijn?

Laten we als referentie Llama 3.1-405B nemen met ~3,8×10²⁵ FLOPs. Uit „>1.000 DGX B200" volgen ≥8.008 B200-GPU’s (8 per DGX) – plus RTX PRO in de restmix, die voor pretraining op deze schaal meestal niet de computeknelpunt vormen.

🔹 Schatting (alleen B200-aandeel, BF16 dense):

• Peak: ~8.000 × ~2,25 PFLOPS ≈ 18 EFLOPS (dense, zonder sparsity)
• Met een realistische Model-FLOP-Utilization van 35–40% levert dat effectief ~6,3–7,2 EFLOPS op
• Resultaat: ~58–70 dagen ononderbroken training

Belangrijk: 58–70 dagen training ≠ 58–70 kalenderdagen. In de praktijk komen checkpointing, uitval/herstarts, evaluatie en tuning erbij. Een realistische buffer is ~1,5–2×, dus ruwweg ~3,5–5 maanden wandkloktijd.

Kosten

Openbare cloudtarieven voor B200 liggen ruwweg op ~$4,7–$8 per GPU-uur (afhankelijk van aanbieder/commitment). Als „huurequivalent" voor 8.000 GPU’s betekent dat:

• ~$0,9–1,54 mln./dag
• Over 58–70 dagen: ~$52–108 mln.

Kanttekening: Dit zijn huurprijzen, niet de interne kosten van Telekom (afschrijving, elektriciteit, bezettingseffecten enz. liggen doorgaans lager).

Conclusie

Per saldo is deze installatie minder „nog een cloud" en meer een hefboom voor Europese slagkracht – mits toegang, bezetting en programma’s zo worden ingericht dat niet alleen grote bedrijven profiteren.