Приложения смешанной реальности открывают новые возможности везде, где требуется совместная работа даже на расстоянии - например, в области удаленной помощи. Например, если установщику необходимо что-то отремонтировать на месте, его коллега в офисе может использовать очки VR, чтобы получить виртуальную картину ситуации в 3D в будущем, и даже виртуально и бесконтактно вмешиваться в обстановку, предоставляя установщику нужные компоненты. или ручки. «Решение, которое мы разработали для этого, может соединить моделируемый мир в реальном времени и высокое качество с реальным миром и открыть новые перспективы или сотрудничество», - объясняет Пол Чоэцки, менеджер проекта Fraunhofer HHI. «Физическое взаимодействие без мешающих контроллеров является более естественным и удобным. Решение может быть более гибко адаптировано к размеру пользователя и увеличивает погружение. В то же время, это может облегчить симптомы укачивания, которые часто возникают в сценариях VR ».
Трехмерное обнаружение объектов и тел с высоким разрешением для взаимодействия в смешанной реальности
Процесс основан на двух технологиях: в реальном мире восемь камер по четыре пары захватывают сцену со всех сторон и генерируют карты глубины до 30 герц. Жесты и динамические движения также признаются. Эти данные затем суммируются с помощью алгоритмов, кодируются и передаются на станцию VR в режиме реального времени со связанными трехмерными текстурами.
В виртуальном сценарии, однако, другая 3D-камера записывает пользователя VR. Благодаря алгоритмам Fraunhofer HHI для трехмерного обнаружения тела и интерпретации жестов, это, конечно, может взаимодействовать в сцене VR без раздражающих контроллеров или маркеров. Он представлен там, так сказать, как движущийся аватар для всего тела и видит свое собственное тело и жесты в виртуальном пространстве. «Только сочетание этих двух технологий позволяет создать уникальное решение для новых сценариев взаимодействия и совместной работы в смешанной реальности», - говорит Чоэцки.
Использование специальных алгоритмов обработки изображений
Обратная связь от виртуального мира представлена в реальной сцене проекцией. Для этого прогнозируемого увеличения также используются специальные алгоритмы обработки изображений из кузницы Fraunhofer HHI. Это гарантирует, что информация и элементы управления отображаются правильно, даже если проецируемые поверхности движутся или наклоняются.
Области применения решения X-Reality разнообразны: в дополнение к удаленной помощи этот процесс можно использовать для быстрого создания прототипов, взаимодействия человека и робота и телекоммуникаций, а также для телеприсутствия и игровых сессий. Например, два пространственно разнесенных человека могут играть в настольную игру друг с другом.
На стенде Fraunhofer в CEBIT посетители могут попробовать 3D-головоломку и получить помощь из виртуального мира. В демонстрации реальный объект проецируется и объясняется пользователю VR, живущему в среде VR. Затем он может ответить виртуально и отразить эти реакции в реальной ситуации. (Ага)