Partner
FilmArena
Ranking obrazów i wideo AI · partner technologiczny · Technologiczni
FilmArena układa ranking generatywnych modeli obrazu i wideo na podstawie ślepego głosowania w parach, a nie deklaracji marketingowych. Widz porównuje dwa wyniki z tego samego promptu, nie wiedząc, który model je stworzył, a model Bradleya i Terry'ego zamienia te głosy w ocenę Elo, dziś ponad milion głosów. Wyniki rozbijają się na emocje, sceny z wieloma postaciami, duży ruch, operowanie przedmiotami i budowanie świata. Ranking prowadzi Koyal. Tablica wyników ma osobne zakładki dla wideo, edycji wideo i edycji obrazu, pozwala wybrać styl realistyczny albo animowany i sortuje według Elo lub odsetka wygranych. Przy każdym modelu pokazuje liczbę wygranych, pojedynków i głosów, a serwis nazywa ranking tworzonym przez społeczność i opartym na otwartych danych. Poza oceną ogólną mierzy jakość, czyli wierność wizualną i zgodność z promptem, spójność, czyli stabilność czasową w wideo albo stylu w obrazach, oraz szybkość, czyli przepustowość generowania. Opublikowany raport o metodologii wyjaśnia, jak porównuje się modele obrazu i wideo na podstawie ślepych preferencji obok siebie, a piaskownica pozwala każdemu wgrać własne obrazy, porównać modele i wygenerować wideo lub edycje za pomocą najwyżej ocenianych. FilmArena podaje, że w jej zespole są badacze z Meta, MIT i CMU.




