您现在的位置:主页 > 半人马科技网 > 家用电器 > > 正文

手势识别在未来VR头显中的作用 可能成为主流的沟通方式

2019年10月18日 22:28 来源:未知 手机版

acca考试时间,互联网法律法规,唯宠

花火网消息,Oculus最近宣称将会在Quest中加入手势识别功能。这一消息也将会是的手势交互最终成为VR交流的解决方案。

为什么普通摄像头+深度学习方案更适合VR/AR?

此次Oculus Quest手势识别使用了基于计算机视觉的手势识别的技术方案。(感谢凌感科技uSens费越博士对本文技术部分的支持)

VR陀螺从费越博士口中了解到,目前基于计算机视觉的手势方案实际上也分为两种:一种是用深度摄像头,一种是用一个或者多个普通摄像头实现。而其中深度摄像头的方案又分为两种,TOF(Time of Flight,光飞时间)和结构光。实际上结构光,或者TOF输出的东西基本一样,都是一张深度图。

相对于两种使用深度摄像头的方案,基于一个或多个普通摄像头实现的手势识别难度更高,但得益于技术发展,其在精度、成本综合性能上正在成为主流。 业内的Leap Motion、凌感uSens就是使用这种方案,Oculus Quest也是使用原有的用于SLAM和手柄跟踪的四个灰度摄像头用深度学习算法来实现的手势识别。

凌感uSens自2015年就开始使用深度学习技术实现手势识别,并在2017年发布了和Oculus Quest类似的基于灰度摄像头的手势识别及SLAM方案。 不久前凌感还研发发布了单目RGB相机上的三维手势骨骼识别,可识别手部全部22个关节点的26DOF(26自由度)信息,关节点包括3D位置信息和3D旋转信息。在单目RGB相机上实现三维手势骨骼识别相对于多个灰度相机的方案来说算法的难度更高。

近年来TOF方案在手机上应用越来越广泛,也是最容易实现深度信息的方案,但在VR、AR设备上却几乎没有。原因可以从以下几个方面来看:

AR、VR对相机要求非常高,首先必须做到延迟非常低。据称,普通相机延迟可以达到4ms以下,从相机获取图像到把图像传过来的延迟都控制在10ms以下。但TOF相机难以做到,一般TOF相机获取图像的过程延迟约为四五十毫秒。因为TOF相机的工作原理不是拍一张图像,而是要连续拍多张图像,再根据图像不同的激光的相位,来还原出深度信息。而拍多张的后果导致延时高,并且要求一定的计算,也需要耗时。同时,这种方案还会有一些运动模糊,如果手动作特别快,在多张图像中的位置不同,也会导致信息测算不精准。

对于AR、VR来说,它的要求比一般手机识别人脸的要求高非常多。手不管动得多快,都必须有反应,需要精确、低延迟,不然容易产生眩晕。

TOF的第二个问题在于视角。在VR中追踪范围越大,手、手柄能够运动的幅度就越大,灰度相机配上鱼眼镜头可以视角达到160度以上,多相机系统可以达到200度以上的覆盖范围。但一般性能比较好的TOF,视角约为60度,最大也只有90度左右。

TOF在手机上可行,但对VR、AR应用来说,致命的就是延迟和视角。

所有VR、AR硬件低成本加入高精度手势识别成为可能

实现高精度手势识别的必要条件

得益于计算机视觉和深度学习技术的发展,终于能够在普通摄像头上实现精度较高的手势识别,当然要实现起来并没有那么简单。

根据资料,Facebook对VR的手势识别感兴趣的第一个迹象早就在2014年底显露出来。其收购了由4名资深手势识别技术专家组成的初创公司Nimble VR。但是收购之后,Oculus清楚地知道该技术“甚至可能不会在CV2或CV3中使用”。2016年的OC3大会上,首席科学家Michael Abrash预测在2021年的VR中能够使用基于手套上标记实现的手势识别,这时在Oculus的计划中仍然是手套形态。

不过在2018年的F8上,Oculus终于展示了高质量的无手套、无标记的手势识别,并提到这一“突破”是由于Facebook在机器学习研究上的大量投资而得以实现。

本站所有文章均来自搜索引擎和其他站点公开内容,如有侵权或表述不当,请联系并标明身份和情况后立即删除。
本文地址: http://www.alphacentaurimgmt.com/jiayongdianqi/72504.html

本文标签:手势 识别 摄像头 手柄 深度

下一篇:直击乌镇|360安全大脑重磅亮相 燃爆世界互联网大会

上一篇:姣斿皵鐩栬尐锛氭媶鍒嗙鎶

热门排行