文/vr陀螺 jealous
近日,计算机视觉(手势识别+slam)开发公司杭州凌感科技宣布和arvr视觉模组硬件初创公司诠视科技进行战略合作。
凌感科技此次和诠视科技的战略合作着力于vr/ar领域的手势追踪技术的结合,由凌感科技提供手势识别的软件算法,基于此算法,搭载了诠视视觉模组的vr/ar设备可以实现手部的3d骨骼识别和跟踪。
凌感和诠视都是专攻vr/ar领域的技术公司,但是在技术层面上,双方研究的方向并不相同。凌感科技专攻手势识别/骨骼识别以及6dof slam技术、物体识别等。而诠视科技的优势在于视觉模组和头显头显设计并且已应用于诸多vr/ar设备上。因此双方合作后,未来采用了诠视模组的vr/ar头显能够在不增加任何传感器的前提下具有高精度手识别能力,实现自然、高效的交互体验。
凌感手势追踪算法与诠视视觉模组结合
如今vr、ar在全球兴起,初创公司争相涌入市场,相比很多厂商选择从vr/ar硬件整机入局,凌感和诠视反而都选择了各自的垂直赛道,而这两条赛道也在时代的大潮下出现了必然的交集。
“凌感将提供手势识别软件算法,实现手部的3d骨骼跟踪和手势识别,结合到诠视的多款硬件模组中,该模组带有movidius计算芯片、双鱼相机、rgb相机或tof相机,可用于vr/ar头显。双方战略合作后,采用了诠视相机模组的头显,可以在不增加任何硬件的基础上,还能获得专业精准的手势交互能力。” usens凌感联合创始人、cto费越博士介绍了此次合作的细节。
凌感自2014年在硅谷成立以来,主要在视觉三维人机交互解决方案开发中进行深入探索。同时它也是全球第一个在有线设备以及移动端中基于inside-out实现26自由度手势追踪和6dof slam定位的公司。
目前凌感的手势识别算法,几乎能够适配所有的相机,包括深度相机、彩色相机、红外相机、双目相机,并且能够实现静态和动态两种不同的手势识别。
在静态手势识别中,能实现超过10种以上的手势动作,包括指向、抓取、握拳、ok、剪刀手等手势,并且可扩展定制,准确率达到98%。
而动态识别中,能够实现5种以上的3d动态动作,同样支持扩展定制,准确率达到95%。
在计算机视觉领域,实现手的三维骨骼跟踪识别具有深远意义。早前手势识别需要依靠tof、结构光等深度相机完成,对于vr/ar头显来说增加新的模块,不仅意味着成本提升,也会带来头显重量、体积加大,反而得不偿失。
然而随着计算机视觉算法的进步,凌感已经实现了最简单的单目rgb相机和3d手势骨骼识别技术,并且将这项技术应用于多个场景,从智能手机到工业级设备。同时该技术也被推向vr/ar头显领域。例如凌感早在2016年与戴姆勒合作,基于自然手势交互,6dof slam跟踪的mixed reality头显来实现新的购车体验。凌感的手部追踪解决方案fingo也已经与国内外ar/vr类头显厂商进行了深度合作,部分厂商已在规划集成fingo的交互头显,而这也是为什么凌感选择与诠视科技合作,目的是为了加速手势识别更快地应用到vr/ar头显中。
另一方面,诠视作为一家从事空间感知与认知(vslam+ai)底层技术开发的计算机视觉公司,主要专注于向ar/vr/mr、机器人、扫地机、无人机等领域提供高精度位置追踪、导航、避障及物体识别等高速(100fps)端处理vslam+ai的视觉边缘计算平台解决方案。
据了解,诠视科技服务的企业品牌客户超过60家,多款品牌vr/ar设备均采用了诠视的视觉模组。去年诠视与南京睿悦nibiru合作,嵌入nibiru的系统底层中,将视觉模组融入到更多oem/odm的vr/ar终端中。
走向vr/ar主流交互方式的必然合作
此次合作的考量并不只是单纯的技术和算法上的结合,同时还是因为整个行业未来前景的影响。如今vr/ar头显都在追求更舒适的互动体验以及精简自由的移动设备,而手势追踪和slam定位系统算法明显是会直接影响到未来vr/ar硬件产品的走向。
为了保证更舒适的交互体验,手势追踪最开始被应用到了许多vr、ar设备上。尽管当下很多硬件设备依然会配备手柄控制器,但是手势识别将逐渐成为vr/ar设备的“基本”功能。
就vr头显来看,早在2014年底,facebook就已经首次表达了对vr手势追踪技术的兴趣。此后,公司收购了nimble vr初创公司,并将其四名手控跟踪技术的资深研究员纳入麾下。2019年年底,facebook旗下的oculus quest宣布将在其硬件上开放手势追踪功能。在oculus quest之前,手势识别实际上已经成为了ar眼镜中最基本的交互方式,而vr上vive focus等设备也都开启了尝试。
除此之外,2017年谷歌也发布了手势识别芯片project soli。无论是hololens、谷歌还是苹果和facebook,都在这一技术领域着重开发。可以看出,手势追踪是行业大头目光所指,也意味着未来硬件迭代的方向。
无论是从pc vr和连接手机的ar眼镜到vr、ar一体机,去繁就简是vr/ar硬件设备的大势所趋。因此,在提高vr设备便捷度的同时,无疑要思考去掉冗杂的部分,精简整个硬件交互流程。而手势识别最大的优势给用户提供了一种最自然的交互方式。因此,在硬件迭代的角度来看,手势追踪无疑是所有厂商都在思考的一个技术迭代方向。
vr/ar设备是极其追求用户体验的产品。相比手柄,当自己的双手能够在虚拟世界实现即时互动反馈,在游戏、工业、医疗等场景中,交互会更加自然以及更加真实。因此,手势追踪除了在硬件迭代精简道路上必不可少,在升级虚拟现实体验的过程中也是重要的一环。
加速手势识别技术应用 强强联合降低研发成本
凌感和诠视强强合作,将手势识别技术融合到视觉模组中,不仅能加速手势识别技术在vr/ar头显中的应用,同时能为硬件公司降低研发成本。
目前inside-out定位已经成为vr/ar硬件最主流的技术方案,不论是oculus quest、vive focus、vive cosmos等vr设备,还是微软、联想、magic leap等ar设备,都采用了inside-out追踪,并且成为其中标配功能,而这也将成为手势识别功能实现的硬件条件。
不过目前手势识别功能在vr、ar上并未普及,虽然实现简单的手势识别并不难,但如果要在普通的2d灰度或者rgb摄像头上实现高精度的3d手势识别和骨骼识别,对于许多硬件团队来说,需要投入非常多的人力进行研发。即便是科技巨头,很多技术也并不会亲力亲为,反而会选择收购专业的技术团队或者外部团队合作,抱团趋势非常明显。
拥有雄厚资金和庞大技术实力的巨头尚且如此,对于创业企业来说,所有vr、ar硬件中涉及的技术全部自行研发几乎不可能,所以整合市场已有技术,在自己擅长的领域深耕是更明智的方式。
凌感与诠视合作,不仅能够降低硬件企业的研发成本,同时,也将有效推动手势识别技术在vr/ar设备上的应用,为开发团队和用户提供更多的交互选择。
