3D Engineering

Сегодня мы хотели бы рассказать о технологии, которая, как нам кажется, заслуживает большей известности в России: прежде всего, благодаря своим рабочим качествам, но еще и потому, что костяк ее разработчиков из компании LifeMode Interactive – наши с вами соотечественники.

Назначение пакета LIFESTUDIO:HEAD: создание моделей голов персонажей и управления их лицевой анимацией, включая процедуру автоматического липсинка. Собственно, технология была разработана для создания и выполнения нелинейной лицевой анимации в играх, но области применения могут быть и другими: говорящая голова, а особенно красивая голова – вещь полезная во всех отношениях.

Основные особенности и приятные моменты:

• Наборы моделей-прототипов, обширная библиотека текстур и библиотека с заготовками всевозможных лицевых выражений и анимаций: все это входит в стандартный пакет.
• Возможность расширения: можно работать и с внешними моделями, созданными в 3ds max или Maya, а также редактировать имеющиеся библиотеки анимаций, создавать новые, использовать в качестве текстур внешние файлы всех популярных форматов.
• Взаимная совместимость всех входящих в состав программы графических компонентов (моделей, текстур и анимаций): это позволяет, например, проигрывать любую анимацию любым из персонажей, сделанным в LIFESTUDIO:HEAD.
• Анимируемый персонаж не ограничен по форме: с равной легкостью могут быть созданы говорящие модели людей, животных, монстров, любые другие персонажи, хоть говорящие мыльницы.
• Экспорт: анимацию, полученную при работе в LIFESTUDIO:HEAD, можно сохранить в виде AVI-файла, набора OBJ-файлов, или импортировать в сцену 3ds max или Maya, используя соответствующие LSHead-плагины, а также сохранить в виде файла-секвенции для дальнейшего его проигрывания в любой внешней аппликации, куда встроен входящий в состав пакета модуль LIFESTUDIO:HEAD SDK.

Компоненты эмоций

Художники, работающие с лицевой анимацией, для каждой своей модели обычно создают набор сеток (head morph targets), отображающих выражение лица для каждой эмоции, и положение губ для каждой фонемы. А технология LIFESTUDIO:HEAD позволяет исключить этот неприятный этап. Программа использует имеющийся (или отредактированный, или свой) набор параметризованных эмоций – Макро-Мускулов – пригодных для всех персонажей. В конечном приложении, например, компьютерной игре, искусственный интеллект игры может инициировать показ нужных эмоций в реальном времени в зависимости от игровой ситуации. Механизм мягкого смешивания разных Макро-Мускулов дает еще один полезный эффект: вместо того, чтобы полностью создавать фрагмент анимации с каким-либо эпизодом эмоционального поведения персонажа, художник создает только компоненты эмоций, а окончательная анимация может быть синтезирована позже, в реальном времени при работе конечной программы. Это ключ к использованию в играх сложной насыщенной нелинейной анимации, которая может придать игровому сюжету определенное своеобразие, благодаря уникальности и неповторимость лицевого поведения персонажей. Конечно, можно самостоятельно создавать и полностью законченные фрагменты анимации, которые в нужные моменты будут проиграны LIFESTUDIO:HEAD SDK.

Моделирование

Проще всего начать моделирование, взяв за основу один из готовых прототипов модели персонажа, входящий в библиотеку пакета, а затем сформировать требуемую геометрию модели головы, трансформируя ее сетку при помощи сотни специализированных слайдеров. Слайдеры объединены в иерархическую древовидную структуру, которая на верхнем уровне позволяет задать общие характеристики модели, такиe как пол, раса или возраст, а на нижнем - детализировать отдельные черты, например, толщину губ или длину переносицы. Если вас не устраивает имеющийся набор слайдеров, вы можете добавить ваш собственный слайдер или отредактировать существующий.
Вы могли видеть такой принцип в Face Gen Modeller, но инструментарий LIFESTUDIO:HEAD не в пример шире.

Для текстурирования модели в LIFESTUDIO:HEAD можно использовать большую библиотеку готовых текстур или создать собственные текстуры, сохранив их в одном из популярных графических форматов. Встроенный механизм послойного смешивания текстур позволяет создать уникальную детализированную текстуру. Для создания моделей с портретным сходством можно использовать фотографии лица в разных ракурсах. При этом с помощью слайдеров под фотографии подбирается форма головы, а результирующая текстура получается автоматически. Довести текстуру до совершенства можно в любом 2D-редакторе, поскольку LIFESTUDIO:HEAD допускает обмен графическими файлами во всех популярных форматах.

Как вы уже, наверное, поняли, основное преимущество программы – экономия времени. Например, моделируя один раз, можно получить 4 модели с различными уровнями детализации. А при массовом создании второстепенных персонажей, например, толпы, можно сэкономить массу времени, используя режим генерации голов и выбирая понравившиеся вам образцы из неограниченного набора сгенерированных.

Анимация

Для того, чтобы анимировать созданную модель, можно использовать готовую библиотеку анимаций, включающую десятки прототипов эмоций и небольших законченных фрагментов анимаций. Конечно же, можно вносить изменения в библиотеку – добавлять свои элементы или редактировать имеющиеся. Процесс анимации достаточно очевиден: библиотечные фрагменты выражений лица помещаются на временной шкале в окне секвенсера. При наличии звукового файла треки с данными липсинка генерируются автоматически. Если добавить в тот же отрезок времени улыбку , например, то персонаж будет говорить, одновременно улыбаясь. При этом не потребуется менять треки липсинка – гладкое смешивание положений рта при липсинке и эмоциях делается автоматически. Функция автоматического слежения глазами за камерой при поворотах головы и возможность анимировать размер зрачка придают анимации дополнительные эффекты.

После того, как анимация закончена, имеется возможность в любой момент отредактировать или поменять треки липсинка, не затрагивая другие анимации. Это может потребоваться, например, при локализации игры. И это не потребует много времени, поскольку встроенный в LIFESTUDIO:HEAD алгоритм распознавания речи работает с любыми языками. Для потоковой обработки большого количества речевых фрагментов можно воспользоваться консольным приложением, которое сгенерирует треки липсинка для нового языка в пакетном режиме, тем самым радикально сократив время, затрачиваемое на локализацию.

Интеграция с 3ds max и Maya.

Наличие плагинов “LIFESTUDIO:HEAD Muscles Setup” для 3ds max и Maya упрощают анимацию индивидуальных моделей, созданных стандартными средствами 3d max и Maya без использования прототипов моделей LIFESTUDIO:HEAD. А другой набор плагинов - “LIFESTUDIO:HEAD Import-Export” - позволяет экспортировать в 3ds max или Maya анимации, созданные в LIFESTUDIO:HEAD, что может быть необходимым при соединении головы с телом персонажа в сцене. При этом повороты и наклоны головы могут управляться костями скелета.

Real-time приложения на различных платформах

LIFESTUDIO:HEAD SDK дает возможность подключить технологию к внешнему приложению, исполняемому на платформах PC, Playstation 2 или Xbox (в том числе Xbox 360), благодаря чему можно получить все преимущества масштабируемости и нелинейной анимации в пользовательском приложении. Если игрок нажимает клавишу и что-то взрывается, модуль искусственного интеллекта игры может дать персонажу команду отреагировать и испугаться именно в этот момент, и этот испуг (степень испуга тоже задается) сразу будет отображен на лице персонажа с помощью встроенного SDK.

Помимо лицевой анимации, SDK поддерживает режим моделирования, что можно использовать для определенных трансформаций сетки модели в по ходу игры для, например, отображения возрастных изменений персонажа (персонаж “стареет”), специфических травм, мутаций и т.п. . Также можно использовать и функцию генерации голов, что поможет создавать персонажей в реальном времени или генерировать толпу людей с различными лицами для каждой сцены.

Пользовательские настройки

Интерфейс инструментальных средств LIFESTUDIO:HEAD интуитивно понятен. В комплект поставки входит множество примеров, поэтому, опираясь на готовые компоненты, за приемлемое время можно достичь выдающихся результатов. Если задаться целью переделать или расширить функциональность каких-либо компонент, эта работа хотя и будет более сложной, чем использование готового материала, но не потребует радикальной переделки всего остального. При желании, можно даже создать все библиотеки с нуля, однако для этого потребуется немало поработать над структурированием собственных компонент и установлением разумного баланса между ними.

Недостатки

Надеемся, вы убедились, что достоинств достаточно, чтобы правильно отнестись к недостаткам, которые есть у LIFESTUDIO:HEAD, как и у любого другого сложного технологического продукта, тем более, что есть все основания полагать, что недостатки эти временны.
На данный момент программа не позволяет использовать анти-альясинг в AVI, и рендеринг из программы осуществляется в preview-качестве. Высококачественный рендеринг моделей, созданных в LIFESTUDIO:HEAD, можно получить, используя Maya или Max.
Невозможно моделирование с уже примененным выражением лица, в режиме модели голова не анимирована, поэтому чтобы посмотреть как скажется изменение модели на ее виде при анимации, нужно переключаться между режимами.
Если анимация создана методом motion capture, то на данный момент невозможно использовать ее в LIFESTUDIO:HEAD. Разработчики подумывают о реализации такой возможности в будущем.
И самое, пожалуй, грустное – пока нет слайдера, позволяющего поменять расстояние между глазами. При том, что программа по остальным своим возможностям позволяет добиться портретного сходства с живым человеком, это недостаток, который может испортить настроение.

Итого

Надеемся, что обзор возможностей LIFESTUDIO:HEAD окажется полезным для читателя, ранее не знакомого с программой. Пакет уже выбрали для своих игровых разработок студии как «1С», Buka Entertainment, Nival Interactive, Gaijin Entertainment и т.д. Именно LIFESTUDIO:HEAD использовалась при создании лицевой анимации персонажей «Операция Silent Storm», «Мор. Утопия».

далее