Architektur
Hierarchical Motion Transformer
Eine räumlich-zeitliche Modellhierarchie: Graph-Attention über ein 21-Gelenk-Skelett, ~11M Parameter, 100-Frame-Fenster bei 25 Hz, duale Ausgaben — Tokens und ein 384-d-Embedding.
Eine Hierarchie: erst Raum, dann Zeit
Der Hierarchical Motion Transformer liest Bewegung wie ein Analyst: erst ein Körper, dann der Verlauf über die Zeit. Jede Eingabe ist ein Fenster von 100 Frames — vier Sekunden Bewegung bei 25 Hz — über das 21-Gelenk-Skelett. Räumliche Attention-Schichten lösen zunächst auf, wie Gelenke innerhalb eines Augenblicks zusammenhängen: wie das Knie belastet wird, wie der Rumpf gegenrotiert, wie die Arme einen Richtungswechsel ausbalancieren. Temporale Schichten modellieren dann, wie sich diese Posen entwickeln — von Mikro-Korrekturen im Sekundenbruchteil bis zum vollen Bogen eines Sprints.
Die Faktorisierung von Raum und Zeit hält das Modell kompakt — rund 11 Millionen Parameter — ohne die Struktur des Körpers zu einer generischen Token-Masse zu verflachen. Das Skelett bleibt durch das gesamte Netz hindurch ein Skelett.
Attention, die den Körper kennt
Gewöhnliche Transformer behandeln Eingaben als ungeordnete Menge; Körper sind das nicht. Gelenkgraph-Attention versieht jeden Attention-Score mit einem gelernten Term, indiziert nach Hop-Distanz — wie viele Knochen zwei Gelenke im Skelettgraphen trennen. Ein Handgelenk erreicht den Ellbogen über einen Hop, das gegenüberliegende Sprunggelenk über viele. Der Prior ist weich: Das Modell kann weiterhin weitreichende Kopplungen entdecken — Armschwung gegen Schrittzyklus, Rumpfneigung gegen Abbremsen —, aber es beginnt bei der Anatomie, statt sie neu zu entdecken.
Die Topologie mit 21 Gelenken und 20 Knochen, über der dieser Bias berechnet wird, ist in der Skelett-Referenz dokumentiert.
Zwei Ausgaben, ein Durchlauf
Jeder Forward-Pass erzeugt zwei Sichten desselben Fensters. Per-Gelenk-Tokens tragen lokales Detail für Rekonstruktionsarbeit — Entrauschen, Inpainting, 2D→3D-Lifting. Ein einzelnes 384-dimensionales Embedding fasst die gesamte Sequenz für Retrieval, Clustering und Probing zusammen. Nachgelagerte Produkte konsumieren eine oder beide Sichten; nichts benötigt ein zweites Modell.
Wie diese Ausgaben trainiert werden, beschreibt das Foundation-Model-Training; wie sie gemessen werden, die Evaluationssuite.
Modell-Datenblatt
| Parameter | Wert | Anmerkung |
|---|---|---|
| Backbone | Hierarchical Motion Transformer | räumlich → zeitliche Faktorisierung |
| Parameter | ~11M | bewusst kompakt — schnell zu iterieren, günstig im Betrieb |
| Eingabefenster | 100 Frames · 4 s | abgetastet mit 25 Hz |
| Skelett | 21 Gelenke · 20 Knochen | dokumentiert in der Skelett-Referenz |
| Attention-Bias | Hop-Distanz-Relativposition | berechnet auf dem Skelettgraphen |
| Ausgaben | Per-Gelenk-Tokens + 384-d-Embedding | ein Forward-Pass, zwei Sichten |
| Trainingsziele | maskierte Rekonstruktion + Mehransichten-Konsistenz + Physikterme | siehe Foundation-Model-Training |