Нейросеть научилась анимировать людей на изображениях
Исследователи из Вашингтонского университета совместно с разработчиками из Facebook создали алгоритм, который «оживляет» людей на фотографиях. По единственному снимку он генерирует трёхмерную движущуюся модель фигуры, которая может садиться, прыгать, бегать и даже «выходить» за пределы изображения. Алгоритм работает также для рисунков и персонажей аниме.
Работа алгоритма
Для создания такой технологии исследователи воспользовались наработками коллег.
Нейросеть Mask R-CNN распознаёт на изображении фигуру человека и выделяет её из фона.
Другой алгоритм накладывает на фигуру упрощённую разметку скелета, определяя то, как она будет двигаться.
Третий алгоритм «заполняет» пространство фона, ранее скрытое фигурой.
Далее собственный алгоритм исследователей на основе размеченной двумерной фигуры создаёт трёхмерную модель и по исходному изображению генерирует уровень текстуры.
Разработчики добавили пользовательский интерфейс, который позволяет менять позу фигуры, чтобы отредактировать саму фотографию или определить, с чего начнётся анимация. Кроме того, можно «оживить» рисунок или фотографию в дополненной реальности и увидеть объёмную фигуру в VR- или AR-очках.
Похожую технологию представили исследователи из DeepMind. Их алгоритм способен построить трёхмерную модель объекта по нескольким изображениям, что позволяет по фотографиям воссоздавать в виртуальной реальности объёмные сцены.
Работа алгоритма
Для создания такой технологии исследователи воспользовались наработками коллег.
Нейросеть Mask R-CNN распознаёт на изображении фигуру человека и выделяет её из фона.
Другой алгоритм накладывает на фигуру упрощённую разметку скелета, определяя то, как она будет двигаться.
Третий алгоритм «заполняет» пространство фона, ранее скрытое фигурой.
Далее собственный алгоритм исследователей на основе размеченной двумерной фигуры создаёт трёхмерную модель и по исходному изображению генерирует уровень текстуры.
Разработчики добавили пользовательский интерфейс, который позволяет менять позу фигуры, чтобы отредактировать саму фотографию или определить, с чего начнётся анимация. Кроме того, можно «оживить» рисунок или фотографию в дополненной реальности и увидеть объёмную фигуру в VR- или AR-очках.
Похожую технологию представили исследователи из DeepMind. Их алгоритм способен построить трёхмерную модель объекта по нескольким изображениям, что позволяет по фотографиям воссоздавать в виртуальной реальности объёмные сцены.