ByteDance, vlasnik popularne platforme TikTok, predstavio je značajnu inovaciju na polju 3D generativne umjetne inteligencije – alat nazvan Seed3D 1.0. Riječ je o naprednom sustavu koji iz samo jedne 2D fotografije može stvoriti kompletan 3D model "spreman za simulacije", zajedno s detaljnom geometrijom, fotorealističnim teksturama i materijalima temeljenim na fizici (PBR).
Ovaj alat, izgrađen na sve popularnijoj arhitekturi Diffusion Transformer i treniran na ogromnim setovima podataka, predstavlja cjelovito rješenje koje ima za cilj postaviti nove standarde u generiranju 3D sadržaja.
Bolji od konkurencije, s manje resursa?
ByteDance tvrdi da Seed3D 1.0 nadmašuje i standardne i open-source konkurente po pitanju kvalitete tekstura i geometrijske vjernosti. Ono što je posebno impresivno jest da to postiže s modelom od samo 1,5 milijardi parametara, nadmašujući čak i veće modele , koji koriste 3 milijarde parametara.
Kako funkcionira?
Ključna inovacija leži u kombinaciji multimodalnog Diffusion Transformera i strategije postupnog generiranja. Proces započinje analizom 2D slike pomoću vizualno-jezičnog modela kako bi se izvukli ključni podaci o objektima i prostornim odnosima. Zatim se generiraju pojedinačni 3D modeli koji se potom sklapaju u cjelovitu scenu. Ovaj pristup omogućuje skaliranje od generiranja jednog predmeta (poput stolice) do kompleksnih scena poput ureda ili čak gradskih pejzaža.
Seed3D 1.0 posebno se ističe u održavanju konzistentnosti tekstura iz različitih kutova gledanja. Umjesto generičkih tekstura, stvara materijale usklađene s perspektivom koji ostaju koherentni bez obzira na kut promatranja, osiguravajući realizam i strukturalnu točnost potrebnu za simulacije.
Primjena u AI treningu i budućnost
Rezultati nisu samo za istraživačke svrhe. Modeli stvoreni pomoću Seed3D mogu se izravno integrirati u simulacijske platforme poput Isaac Sim za treniranje umjetne inteligencije u virtualnim okruženjima (npr. u robotici).
Kako se granica između stvarnog i sintetičkog sadržaja sve više zamagljuje, Seed3D 1.0 predstavlja značajan iskorak za ByteDance, ali potencijalno i za kreatore 3D sadržaja, razvojne programere u robotici i platforme za prostorno računalstvo diljem svijeta.
