🧠 Transformers zijn indrukwekkend – maar zijn ze echt de toekomst?

Het onderstaande diagram (uit het mechanistic interpretability-onderzoek) is een van de beste voorbeelden van waarom de Transformer-architectuur tegen haar grenzen aanloopt.

👉 De opgave: 36 + 59

Wat voor ons triviaal is, wordt in de Transformer een labyrintisch proces met twee parallelle paden – het ene schat ruwweg, het andere probeert het laatste cijfer correct te krijgen.

📌 Het resultaat? Het werkt – op de een of andere manier.

Maar niet omdat de Transformer het begrijpt. Wel omdat we hem met miljarden FLOPs in de juiste richting hebben geduwd.

Wat het diagram duidelijk maakt

• ✅ Transformers kunnen rekenopgaven oplossen
• ❌ Maar ze willen het niet – de architectuur verzet zich er ronduit tegen

💥 Een paradigmaverschuiving is nodig

Dit is een sterk bewijs dat we een paradigmaverschuiving nodig hebben. Wiskunde is niet optioneel voor intelligente systemen. En als een architectuur zoveel energie nodig heeft om eenvoudige rekenregels te „simuleren", dan is dat een waarschuwingssignaal.

🔍 Mechanistic Interpretability

Mechanistic interpretability laat ons hier niet alleen zien hoe Transformers „denken" – maar ook hoe weinig ze werkelijk begrijpen. Meer hierover is te vinden op mechinterp.com.

Het is tijd om na te denken over nieuwe architecturen. Echt nieuwe. Niet alleen grotere modellen.