🧠 Transformers sind beeindruckend – aber sind sie wirklich die Zukunft?

Das untenstehende Diagramm (aus der mechanistic interpretability Forschung) ist eines der besten Beispiele dafür, warum die Transformer-Architektur an ihre Grenzen stößt.

👉 Die Aufgabe: 36 + 59

Was für uns trivial ist, wird im Transformer zu einem labyrinthischen Prozess mit zwei parallelen Pfaden – einer schätzt grob, der andere versucht das letzte Ziffernbit korrekt zu bekommen.

📌 Das Ergebnis? Es funktioniert – irgendwie.

Aber nicht, weil der Transformer es versteht. Sondern weil wir ihn mit Milliarden von FLOPs in die richtige Richtung prügeln.

Was das Bild deutlich macht

• ✅ Transformer können Matheaufgaben lösen
• ❌ Aber sie wollen es nicht – die Architektur sträubt sich regelrecht dagegen

💥 Ein Paradigmenwechsel ist nötig

Es ist ein massives Indiz dafür, dass wir einen Paradigmenwechsel brauchen. Mathe ist nicht optional für intelligente Systeme. Und wenn eine Architektur so viel Energie braucht, um einfache arithmetische Regeln zu “simulieren”, dann ist das ein Warnsignal.

🔍 Mechanistic Interpretability

Mechanistic interpretability zeigt uns hier nicht nur, wie Transformer “denken” – sondern auch, wie wenig sie wirklich begreifen. Mehr darüber kann unter mechinterp.com gefunden werden.

Es ist an der Zeit, über neue Architekturen nachzudenken. Wirklich neue. Nicht nur größere Modelle.