Прогресс становится возможным благодаря особому типу нейронной сети, которую исследователи называют «свернутой нейронной сетью» и которая вызывает сенсацию в промышленности и бизнесе под термином «глубокое обучение». Исследователи из Саарбрюккена разработали новый метод для быстрого расчета трехмерного изображения человека по двумерной информации в видеопотоке.
Создайте 3D модель движения Альп с камерой смартфона
«С нашей системой вы даже можете создать трехмерную модель движения в Альпах даже в режиме реального времени и с камерой на своем смартфоне», - говорит Душян Мехта, докторант Института компьютерных наук им. Макса Планка (MPI), объясняя преимущества новой системы., который он разработал со своими коллегами из группы «Графика, Видение и Видео». Группу возглавляет профессор Кристиан Теобальт. «До сих пор это было возможно только с несколькими камерами или так называемой камерой глубины, которая, например, также встроена в Microsoft Kinect», - объясняет Сринат Шридхар, которая также занимается исследованиями в MPI.
Картинная галерея
Управление компьютерными играми движением тела
Исследователи окрестили свою систему «VNect». Прежде чем предсказать 3-D позу человека, он сначала определяет его положение на изображении. В результате он не тратит вычислительную мощность на области изображения, которые ничего не показывают о человеке. Нейронная сеть была обучена с помощью более десяти тысяч аннотированных изображений во время машинного обучения. Он может указать текущую трехмерную позу в виде соответствующего угла соединения, который можно легко преобразовать в виртуальные фигуры.
«С VNect в будущем еще больше людей смогут управлять компьютерными играми, используя движения тела. Вам не нужна дорогая камера глубины, несколько камер, а также не нужно иметь специальные маркеры. Вашей веб-камеры достаточно. Это даже дает совершенно новый опыт в виртуальной реальности », - объясняет Мехта. Кроме того, VNect также является первой системой, которой требуется только видео для создания трехмерной модели движения человека. «Поэтому спектр возможных приложений для VNect огромен», - объясняет профессор Кристиан Теобальт, который возглавляет группу «Графика, зрение и видео» в MPI. «Спектр варьируется от взаимодействия человека с машиной до взаимодействия человека с роботом до индустрии 4.0, где люди и роботы работают бок о бок. Или подумайте об автономном вождении. В будущем автомобиль может использовать камеру для записи движений людей, чтобы определить их поведение », - сказал профессор Теобальт.
При быстром движении система достигает своих пределов
Тем не менее, VNect все еще достигает своих пределов. Точность новой системы немного меньше точности систем, основанных на нескольких камерах или маркерах. VNect также попадает в неприятности, если лицо человека закрыто и если движения слишком быстрые или недостаточно соответствуют изученным образцам для подражания. VNect также вызывает проблемы у нескольких человек перед камерой. Тем не менее, исследователь MPI Сринат Шридхар уверен, что VNect продолжит развиваться и вскоре сможет обрабатывать сцены, которые настолько сложны, что их можно без проблем использовать в повседневной жизни. (Ага)