协会宗旨:搭建企业桥梁 创建行业价值

  • 首页 首页
  • 关于我们 关于我们
    • 关于协会
    • 合作伙伴
    • 协会职能
    • 资料下载
  • 最新动态 最新动态
    • 协会动态
    • 会员动态
    • 行业动态
    • 解决方案
    • 行业报告
    • 政策指南
    • 行业百科
  • 专业服务 专业服务
    • 专家委员会
    • 会员服务
    • 标准服务
    • 技术培训
    • 知识产权工作站
  • 会员服务 会员服务
    • XR周迹
    • 副会长
    • 会员展示
    • 会员专访
    • 申请入会
  • 产业服务 产业服务
    • 产业运营
    • 招商方案
    • 媒体宣发
  • 创投服务 创投服务
    • 项目库
    • 机构库
    • 人物库
    • 投融动态
  • 协会党建 协会党建
    • 党建进程
  • 联系我们 联系我们
    • 联系协会
    • 协会招聘
  • AR/VR博览会 AR/VR博览会
    • 博览会介绍
    • 中国XR30强榜单
    • 联系我们
    • 大会动态

最新动态

  • 协会动态
  • 会员动态
  • 行业动态
  • 解决方案
  • 行业报告
  • 政策指南
  • 行业百科

行业动态

首页>最新动态>行业动态

ToF在AR中的应用指南

日期:2021-04-10 点击数:2897

摘要:在AR场景中引入3D Sensing摄像头,可获取三维位置及尺寸信息,实现交互、定位、增强现实等功能。

目前市面上3D Sensing共有三种主流技术:结构光、双目立体视觉以及ToF,相比前两种技术,ToF具有受环境影响小、帧率高、检测距离远,算法开发难度低等特点,非常适合在AR眼镜中进行应用。


01  ToF的工作原理

ToF是“Time of Flight”的简称,也叫飞行时间测距法。原理是通过向目标物体打光,测量光在镜头和物体之间传输的时间来测距,从而获悉画面里每个物体的距离,获取深度图,进而直接绘制出立体图像,最终达成3D立体深度感应。一个完整的ToF系统如图1所示:

6070fb94ac425.png

图 1  ToF原理框图

根据测量/计算距离时是否直接获取时间差和相位差,可分为直接(Direct)方法的DToF和间接(Indirect)方法的IToF。

本文主要阐述基于调制信号为正弦波的IToF,该类型ToF的Transmitter(发射器)一般采用940nm波长的红外LED或者激光VCSEL(Vertical-cavity Surface-emitting Laser)来发射高性能脉冲光,脉冲目前可达到100MHz。

6070fc46a1a9b.png

图 2  IToF原理图

利用发射光信号与反射光信号的相位变化进行距离测量,每帧数据可接收4个不同相位图,分别是0°,90°,180°和270°,每个相位的积分时间一般是200uS-1000uS。如图2所示,第一个信号为发射波形,第二个信号为反射波形,C1、C2、C3、C4是4次采样对应的窗口。发射的光束照到目标物体上发生反射,通过Receiver array(接收器)接收,根据4相位图计算相位差,再由相关公式计算出深度信息。

6070fcafdc3a5.png

02  AR眼镜中ToF的硬件设计问题

AR眼镜本身需要轻量化。电池容量以及放电能力都相对有限,而ToF的总体功耗相对较高,因此在有限的条件下,实现ToF的性能最大化较为困难。

除ToF平均功耗外,影响最大的是ToF光源的瞬时工作电流,因为高频率大电流的开关信号,对整个系统的电源影响较大。在ToF工作时,可以明显测得电源的输入电压被拉低,易使波谷达到系统的欠压保护点,测量结果如图4所示。

从图4中可以明显看出波谷处被拉低接近1V,为了解决这个问题,需要增加大容量的电容滤波,提高电压效率,优化电路设计,将其相关的电压单独隔离处理,以免影响到其他功能模块。

6070fd6b2394e.png

注:CH1黄色:电池两端电压;CH2绿色:VCSEL的供电电压;CH3紫色:AR眼镜头戴部分总电源入口;CH4红色:VCSEL供电电源输出端口电流。
 

 03  AR中ToF的功耗


AR眼镜中ToF的功耗主要分为两大部分:感光芯片的功耗和光源部分的功耗。

1. ToF感光芯片的功耗(以Sony IMX316为例)

6070fde63aac0.png

2. ToF光源(VCSEL)部分的功耗

测试光源部分的功耗相对困难,因为光源部分工作频率比较高,以IMX316为例,设置为双频20&100MHz模式,每个相位的积分时间t设置其范围为200-1000uS,占空比D为30%-50%,帧率F为15-120fps,那么光源的平均功耗P = 4 * V * I * t * D / F。

测试位置如图5所示,左边是调制信号开通的回路,右边是信号关断的回路。可以测得20MHz部分为1.866V/1.67A,100MHz部分为1.833V/1.6A,那么总功耗约为204.7mw。

6070fe9edf1e7.png

综上,AR眼镜应用ToF时存在的功耗问题主要分为两个方面:瞬时功耗和平均功耗。


04  降低ToF的解决方法简述

据实际研究,在ToF应用中可从以下三个层面探索降低ToF功耗的解决方案:

1. ToF自身特性层面:

可通过单双频模式,VCSEL发射功率、积分时间等参数的优化进行。

2. 应用层面:

根据场景需求适时降低ToF工作帧率、不同场景下VCSEL工作数量、深度数据截取以减少数据处理量、异构平台联合工作(DSP/ARM异构平台)等方面进行优化。

3. 系统层面:

可单独设计ToF系统供电模块,与其他器件避免同时开启,设计不同器件的工作时序,减低整体设备功耗峰值。根据远近不同场景,通过HAL、AP、ALG联动动态配置频率大小、单双频模式以及驱动电流等参数。


以上三种解决方案详情敬请期待S-Dream Lab《AR中的ToF系列》(二)与(三)

协会介绍    入会申请     解决方案     联系协会

关注公众号回复“进群”即可加入群聊

60698eba3f0f5.png

下一篇:关于《实景三维空间采集重建的VR技术标准》和《新居住产业实景三维空间采集重建服务白皮书》
返回上一级

 

主办单位:深圳市增强现实技术应用协会

地址:深圳市宝安区兴东社区南天辉创研中心6楼  

电话:18938893801  Email:Vip@szar.org.cn

《中华人民共和国电信与信息服务业务经营许可证》编号: 粤ICP备18013217号

关注微信公众号

手机查看

合作报道