Принцип работы
- В эксперименте сцена Unity, состоящая из объектов, рендерится с помощью обычного конвейера.
- На выходе у каждого объекта есть специальная маска в виде изображения, которая обрабатывается нейронной сетью, преобразующей ее в финальное изображение.
- Сгенерированное изображение — результат финального рендера, отображенного на экране.
Стэк
- Нейронная сеть работает на сервере
- Unity выступает клиентским приложением
- Для VR-экспириенса использовался шлем HTC Vive и SteamVR
Потенциал разработки — в создании инструмента рисования приложений в виртуальной реальности и получение фотореалистичного результата
Примеры
- Потенциал использования для арт-сферы — создание визуального ряда для музыки / инсталляций
- GauGAN в виртуальной реальности