Değerlendirme Paketi

Bu sayfadaki her sayı aynı üç niteleyiciyi taşır: iç değerlendirme, bilinçli olarak küçük, ayrı tutulmuş bir derlem, özdenetimli eğitim. Bu niteleyiciler sonuçların anlamını sınırlar — mimarinin neler öğrenebildiğine dair güçlü kanıtlar, kıyaslama iddiaları değil. Protokol sızıntı konusunda katıdır: doğrulama verisi tek tek pencereler düzeyinde değil, bütün kayıtlar düzeyinde ayrılır; böylece skorlar hiçbir zaman modelin daha önce gördüğü hareketten kazanılmaz — derlem büyüdükçe daha da bağlayıcı hâle gelen bir disiplin.

Yeteneğin bu derlemle birlikte nasıl büyümesinin beklendiği, veri ölçeği merdiveninde haritalanmıştır.

Yeniden kurma hatası, giderek zorlaşan eksiklik desenleri altında MPJPE — eklem başına ortalama konum hatası — olarak ölçülür: dağınık kayıp eklemler, bütünüyle kayıp zaman aralıkları ve zaman boyunca kayıp vücut bölgeleri. Zorluk tam olması gerektiği gibi ölçeklenir: dağınık boşluklar kolay, bitişik uzam-zaman boşlukları zordur. Modelin bunları doldurmayı nasıl öğrendiği eğitim dokümantasyonunda anlatılıyor.

Doğrusal sonda zor bir soruyu nazikçe sorar: dondurulmuş gömmenin içinden geçen düz bir çizgi, modele hiç söylenmemiş fiziksel bir niceliği geri çıkarabilir mi? Vücut mekaniği kavramları için yanıt nettir — hız, gövde eğimi ve sol-sağ diz asimetrisi doğrusal olarak okunabilir. Temsilin amaçlanan biçimi tam da budur: model, tek bir etiket olmadan vücudun nasıl hareket ettiğini öğrendi.

Tekil metriklerin ötesinde, değerlendirme paketi gömme uzayının düzenli olup olmadığını da sınar: hareket pencereleri üzerinde denetimsiz kümeleme, hiçbir olay akışı olmadan tutarlı hareket arketipleri çıkarır ve kümeler arası geçişler videodaki görünür değişimlerle örtüşür. Arketip sayıları ve kalite skorları, sorumlu biçimde yayımlanacak kadar büyük bir derlem oluşana dek şirket içinde kalır.

Sayıların göstermediği şeyler — taktik bağlam, rakip baskısı, maç durumu — bilinçli olarak kapsam dışıdır: model sahayı değil vücudu görür.