Temel Model Eğitimi

Model, göremediğini yeniden kurarak öğrenir. Özdenetimli maskeli yeniden kurma hedefi, her pencerenin bir bölümünü altı yapılandırılmış maske türüyle gizler — dağınık rastgele eklemlerden bütün zamansal bloklara, anatomik graf bölgelerinden birleşik uzam-zamansal bloklara — ve ağdan özgün temiz 3B koordinatları yeniden kurmasını ister. Her maske ailesi farklı bir yetkinliği zorlar: zamansal bloklar hareketin sürdürülmesini, graf bölgeleri anatomik çıkarımı, birleşik bloklar ikisini birden ister.

Yeniden kurma tek başına düzen olmadan ayrıntı üretir. Çok görünümlü tutarlılık hedefi küresel yapıyı ekler: aynı pencerenin iki artırılmış görünümü gömme uzayında birbirine yakın düşmeli; düzenlileştirme terimleri ise çökmeyi önler — negatif çift yok, etiket yok. Yeniden kurma eklem başına hassasiyeti sağlar; tutarlılık hedefi gömme uzayını düzenler. Eğitimin hiçbir yerinde anotasyon kullanılmaz.

Yalnız yeniden kurma kayıpları, makul görünen saçmalıklar üretmekten çekinmez — uzayan kemikler, ışınlanan eklemler. Fizik düzenlemesi tam olarak bunu cezalandırır: kemik uzunlukları pencere boyunca tutarlı, hız ve ivme profilleri pürüzsüz kalmalıdır. Sonuç bir fizik motoru değildir; her yeniden kurmanın bir vücut olarak kalmasını sağlayan esnek bir anatomik sözleşmedir.

2B iskelet, bir kameradan görülen 3B iskelettir — derinliği atan bir izdüşüm. Bu yüzden model, kaldırmayı ayrı bir görev olarak değil, kayıplı bir görünümden yeniden kurma olarak ele alır: eğitim sırasında pencereler rastgele sanal kameralardan yansıtılır ve hedef her zaman özgün 3B dizidir. Derinlik, maskelenebilen bir şeye daha dönüşür. Gürültü gideren ve boşluk dolduran aynı ileri geçiş, kaldırmayı da yapar.

Mevcut kontrol noktası bir kavram kanıtı eğitiminden geliyor: 14 gün boyunca 8×H100 — yaklaşık 2.700 GPU-saat — sıfır etiketle uçtan uca eğitim. Bu bir araştırma kontrol noktasıdır, ürün modeli değil; ölçülen davranışı değerlendirme paketinde belgelenmiştir.

Özdenetim, ham görüntüyü eğitim sinyaline çevirir; yetenek anotasyon bütçesiyle değil veriyle ölçeklenir. Aşağıdaki merdiven, derlem ölçeğinden modelin destekleyebileceklerine dürüst bir haritadır — eğitim derlemi büyüklük mertebeleriyle büyüdükçe daha zor yetenekler mümkün hale gelir.