Решението на NVIDIA да използва отворен код Audio2Face бележи значителна стъпка за тези, които създават дигитални герои с естествена изразителност. С тази мярка компанията насърчава повече студия и разработчици да се интегрират Генерирана от изкуствен интелект лицева анимация и синхронизация на устните във видеоигри, 3D приложения и завладяващи преживявания без обичайните бариери за достъп.
Изданието обхваща SDK за Audio2Face, моделите на регресия и радиопредаване в неговата версия v3.0, И рамка за обучение да коригира поведението със собствените си данни. Залогът е фокусиран върху ускоряване на използването на Аватари, базирани на изкуствен интелект в сектори като видеоигри, медии, развлечения и обслужване на клиенти.
Какво е Audio2Face и защо е важно?
Audio2Face трансформации речеви сигнали (фонеми, прозодия и емоционални нюанси) в криви и анимационни данни, които синхронизират устните и израженията с голяма прецизност. Този резултат може да се използва в в реално време или в процеси офлайн, вариращи от предварително записани кинематографични кадри до динамични взаимодействия на живо в рамките на графичен енджин.
За играча или зрителя резултатът е по-достоверна изразителност, с герои, които реагират последователно на тона и темпото на звука, засилвайки потапянето в диалоговите сцени, Близки планове и услуги с виртуални асистенти.
Налични SDK, шаблони и инструменти
Публикацията включва SDK за Audio2Face, Моделите регресия y дифузия v3.0, И тренировъчна среда необходимо е да се адаптира технологията към различни стилове на лице и фурнитура. Съществува и официални добавки за Autodesk Maya (v2.0) y Unreal Engine 5 (v2.5), така че интеграцията в професионални тръбопроводи да е лесна.
Освен това се разпространяват и допълнителни модели, като например Audio2Emotion, способен да извежда емоционални състояния от аудио, и примерни набори от данни да започнете да експериментирате възможно най-скоро. За тези, които търсят повече информация и ресурси, NVIDIA се позовава на ACE за игри, където е съставен наборът от свързани инструменти.
Интеграция в 3D работни процеси
В съществуващите производства, Плъгини за Maya и Unreal Engine 5 улесняват съпоставянето на изхода на Audio2Face с лицеви ригове и комбинирането му с ръчно създадени анимационни слоеве или системи за заснемане. SDK позволява автоматизиране процеси, изграждане на вътрешни инструменти и свързване на ИИ с редактори на анимация или системи на добив често срещани в проучванията.
Технологията е оптимизиран да работи с висока производителност на съвременни графични процесори (като серията RTX), въпреки че фактът, че кодът е отворен, улеснява изследването на други конфигурации за внедряване и персонализирани корекции според нуждите на всеки проект.
Допълнителни модели и персонализиране
С рамка за обучение След като бъдат пуснати, техническите екипи могат да усъвършенстват моделите със собствено фонемно дърво, езикови правила и гласово разнообразие или да насочат изхода към специфични стилове на оборудване. Комбинацията с Audio2Emotion отваря вратата към изразителни нюанси, които по-добре отразяват времето и намерението на говорещия.
За тези, които тепърва започват, примерни данни позволяват ви да валидирате аудио каналирането, да тествате синхронизацията на устните и да оцените качеството на трансфер до платформи преди да инвестирате в собствения си учебен корпус.
Приемане в индустрията
Audio2Face вече е интегриран в инструменти и проекти на проучвания и доставчици в сектора. Сред цитираните имена са Codemasters, NetEase, Reallusion, Perfect World Games, GSC Games World, Convai, Inworld AI, Streamlabs и UneeQ Digital Humans, което е знак, че технологията е узряла в реални условия.
- Реалност вграден Audio2Face в iClone y Създател на персонажи, комбинирайки го с функции като кукловодство на лице y АккуЛип за фина настройка на синхронизацията на устните.
- SurviosВ Alien: Rogue Incursion Evolved Edition, оптимизирал е тръбопровод лицева анимация за повишаване на потапяне във виртуалната реалност.
- Farm 51 приложи го в Чернобилит 2: Забранена зона, достигайки ниво от реализъм превъзхожда това от първото му издание.
Отворена общност и сътрудничество
С достъпен код, NVIDIA ви кани разработчици, студенти и изследователи да допринасят с подобрения, да предлагат нови функции и да адаптират решението към специфични случаи на употреба. Компанията също така насърчава участието в Discord сървър на Audio2Face, място за срещи за споделяне на напредък и решаване на технически въпроси.
Промяната в лиценза улеснява общността да експериментира с хетерогенни работни процеси, от видеоигри и VTubing на корпоративни виртуални асистенти, консолидирайки кодова база, върху която да се извършва бърза итерация прозрачност.
С откриването на Audio2Face, екосистемата от лицева анимация, ръководена от изкуствен интелект, получава значителен тласък: още достъп, по-добри интеграции и график за приемане, който, предвид вече известните случаи, има дълъг път пред себе си както в ААА продукции както в малки екипи, които търсят качество, без да започват от нулата.
