Использование нейронных сетей в качестве конечного элемента рендеринга в графическом конвейере в Unity.
Принцип работы
В эксперименте сцена Unity, состоящая из объектов, рендерится с помощью обычного конвейера.
На выходе у каждого объекта есть специальная маска в виде изображения, которая обрабатывается нейронной сетью, преобразующей ее в финальное изображение.
Сгенерированное изображение — результат финального рендера, отображенного на экране.
Стэк
Нейронная сеть работает на сервере
Unity выступает клиентским приложением
Для VR-экспириенса использовался шлем HTC Vive и SteamVR
Потенциал разработки — в создании инструмента рисования приложений в виртуальной реальности и получение фотореалистичного результата
Примеры
Потенциал использования для арт-сферы — создание визуального ряда для музыки / инсталляций