Hierarchical Motion Transformer

Hierarchical Motion Transformer hareketi bir analistin okuduğu gibi okur: önce tek bir poz, sonra zaman boyunca. Her girdi, 21 eklemli iskelet üzerinde 100 karelik bir penceredir — 25 Hz’de dört saniyelik hareket. Uzamsal dikkat katmanları önce eklemlerin tek bir an içinde nasıl ilişkilendiğini çözer: diz nasıl yükleniyor, gövde nasıl karşı yönde dönüyor, kollar bir yön değişimini nasıl dengeliyor. Zamansal katmanlar ise bu pozların nasıl evrildiğini modeller — saniye altı mikro düzeltmelerden bir sprintin tamamına uzanan yay boyunca.

Uzam ve zamanı ayrıştırmak modeli kompakt tutar — yaklaşık 11 milyon parametre — ve vücudun yapısını türdeş bir token yığınına indirgemez. İskelet, ağın her katmanında iskelet olarak kalır.

Sıradan transformer’lar girdiyi sırasız bir küme gibi ele alır; vücut öyle değildir. Eklem grafı dikkati, her dikkat skoruna sıçrama mesafesine — iki eklemi iskelet grafında kaç kemiğin ayırdığına — göre indekslenen öğrenilmiş bir terim ekler. Bilek dirseğe tek sıçramada, karşı ayak bileğine ise birçok sıçramada ulaşır. Bu önsel esnektir: model uzun menzilli bağlaşımları — adıma karşı kol salınımı, yavaşlamaya karşı gövde eğimi — yine keşfedebilir; ama anatomiyi yeniden keşfetmek yerine ondan yola çıkar.

Bu yanlılığın üzerinde hesaplandığı 21 eklemli, 20 kemikli topoloji iskelet referansında belgelenmiştir.

Her ileri geçiş, aynı pencerenin iki görünümünü üretir. Eklem başına token’lar yeniden kurma işleri için yerel ayrıntıyı taşır — gürültü giderme, boşluk doldurma, 2B→3B yükseltme. Tek bir 384 boyutlu gömme ise tüm diziyi arama, kümeleme ve sondalama için özetler. Alt ürünler bunlardan birini ya da ikisini tüketir; hiçbir şey ikinci bir model gerektirmez.

Bu çıktıların nasıl eğitildiği temel model eğitiminde, nasıl ölçüldüğü ise değerlendirme paketinde anlatılıyor.