Microsoft Research создали программное обеспечение «Handpose», которое отслеживает движения ладоней и пальцев

Microsoft Research создали программное обеспечение «Handpose», которое отслеживает движения ладоней и пальцев

Для виртуальной реальности отслеживание движений рук является одним из самых важных следующих шагов в развитии. В прошлом месяце Leap Motion заявили о разработке программы отслеживания рук для OSVR. Хотя Leap Motion это одна из самых заметных компаний в этой сфере, есть и другие работающие над программным обеспечением для отслеживания движений. Одной из этих компаний является Microsoft, в частности их научно-исследовательский отдел в Кембридже, Великобритания. Технология называется Handpose, и даже на стадии разработки она выглядит многообещающе.

На демовидео один из исследователей использует Handpose с помощью сенсорного контроллера Kinect. Тем не менее, используемый Kinect был слегка изменен, чтобы лучше отслеживать мелкую моторику.
Использование Kinect также позволяет пользователю перемещаться, оставаясь при этом внутри диапазона действия. Возможность двигаться и взаимодействовать в виртуальном пространстве это одно из главных требований к ВР. С Oculus Rift, например, вы ограничены небольшой площадью. В свою очередь такие компании как Sulon, Valve и HTC предоставляют более широкое пространство для движения.
Разработка Handpose усложнялась тем, что руки не только маленькие, по сравнению со всем телом, но и гибкие. Мы можем двигать руками с самых разных направлений и под разными углами, при этом бывают моменты, когда один или несколько пальцев скрыты от камеры. Это не говоря о том, что камера имеет трудности с идентификацией каждого пальца по отдельности.
Чтобы решить эту проблему, команда использовала метод машинного обучения. «Обучая» компьютер с помощью ряда изображений руки, они надеялись дать системе понимание того, как рука двигается в пространстве. Но этот метод не принес ожидаемых результатов, поэтому команда обучила машину с помощью 3D-моделей руки. Комбинируя изображения и 3D-модели, камера смогла эффективно отслеживать движения рук в окружающей среде.
Разработчики считают, что Handpose может быть использована в различных областях, например, для координации группы роботов или для взаимодействия с экраном компьютера, чтобы устранить необходимость в клавиатуре. Не осталась и без внимания концепция идеи искусственного интеллекта и обучения машин с помощью различных движений рук и жестов.
Также есть возможность, что Handpose может быть одной из технологий, используемых в программном обеспечении Microsoft HoloLens. Но на данный момент Handpose это просто эксперимент.

Понравилось? Поделись!

Система Orphus
comments powered by Disqus
 
Top