400-829-1996

当前位置: 首页> 新闻与活动> 基于散焦成像技术的新型传感器
基于散焦成像技术的新型传感器
2019-11-25 12:58:45

        传统的视觉深度传感器,包括有相机、镜头、内置逻辑算法,有时还要内置红外或者激光光源,才能实现深度信息的感知。像激光雷达、TOF相机、投影测量一类,都属于主动光源的深度传感器,而多目立体视觉和光场视觉,则属于利用环境光的被动光深度传感器。

        

   这些技术虽然已经广泛的运用于各种自动驾驶、手机以及其他各种平台,但是仍然有一个巨大的技术难题亟待解决:它们都太胖太能吃体积大功耗高,无法适用于各种低功耗的微型平台,比如小型无人机、昆虫型机器人。

 

   于是乎,哈佛的科研团队就盯上了一种名为跳蛛的小型蜘蛛。

 

   跳蛛(Salticidae)不是次被科学家盯上了,上次关注还是因为它们的大眼睛如何构建立体视觉。

 

   我们都知道人眼能够通过立体视觉来测量深度,是靠两个眼睛的视角差以及精密的大脑,经过像素级的运算出来的。人类的大脑会占身体重量的2%以上,耗氧量却占全身耗氧量的25%以上。这种高级玩意儿可不是跳蛛科生物能玩得起的,它们的大脑还没有芝麻粒大,如果把它们的大脑放到人脑一样大的话,这样的跳蛛将会撑满一整间屋子。

 

   所以显然,跳蛛们为了实现立体视觉,另辟蹊径的选择了其他进化的道路,而这正是哈佛团队所关心的。


1.jpg 

▲跳蛛的眼睛中有多个视网膜,与人眼只有一层视网膜不同,跳蛛的分层视网膜结构可以同时观测不同距离的两个物体。实验表明,它们可以通过图像中的散焦来感知深度,从而进行捕猎或者求偶活动。

 

神奇的散焦测量

       想像一下当我们用放大镜观察文字的时候,只有当焦点调整合适的时候,我们才能看清楚文字,如若不然我们是看不清文字的。但是你想过没有,这种不清晰的文字,与放大镜的焦点、到文字的距离,都是有线性关系的。所以我们完全可以通过已知的参数,使用两张不同焦点位置的图片,计算不清晰边缘像素的模糊程度变化值,从而获取到每个像素的深度值。这种技术就叫做离焦测量,也叫散焦测量。

 

   这种测量方法的好处就在于可以较大地简化测量系统,降低计算量,不需要主动照明的光源配合,非常适合各种空间受限的测量环境。

 

   对于跳蛛来说,天生的生理结构注定了它们需要要进化成这样的散焦测量视觉系统。

 

   研究团队首先想到的是,能否将这样的测量系统复制出来?如此便可应用在各种跟跳蛛一样大的微型设备中了。可是首先面临的难题就是光学器件的不可靠性。

 

   首先,如果想要改变焦距,就需要调整光圈大小,或者让镜片形变,这样会增加系统控制的复杂性降低整体可靠性。即便是控制好精度拍摄的两张图片,也无法做到同一时刻拍摄动态的物体,跳蛛显然不是这样的,它能看到动态的物体。如果增加相机同时拍摄,就变成了多目立体视觉跑题了。亦或是通过棱镜分光的方式拍摄同一角度,也会有不同程度的运动延迟或者伪影,影响深度感知性能。

 

仅有3mm厚的金属镜头

 

   “有现成的还叫什么研究?”真不愧是哈佛人,没有就自己造嘛!

 

   为了解决这些挑战,研究团队研制出了一款新型的金属深度传感器。结构相当紧凑,没有活动构件,获取到的信息仅需要简单计算就可以还原成真实的深度信息。


2.jpg

▲这种传感器采用Si做基底,使用TiO?(二氧化钛)做纳米级微立方结构。通过交替两种不同尺寸的纳米柱图案,同一个传感器可以实现同时成两幅像,从而模仿出了跳蛛眼中分层的视网膜。

 

   这种深度传感器尺寸仅有3mm直径,所以算上所有的光学组件,整体也只有4×4×10cm大小,大大减小了传统深度测量的组件大小。通过同一光圈同时捕获两个不同焦距的图像,而无需对光学系统进行物理更改,有效避免了更改相机光学元件时,随时都可能产生的伪影。


3.jpg

▲新型纳米传感器凭借纳米级微结构,可以像跳蛛一样同时捕捉不同焦距的两张图片。研究团队专门经过测算,新型纳米传感器可以在532nm波段的波长下工作,配合滤镜将通过矩形光圈捕捉到的图像区分开来。经过实验,计算机可以清晰地显示出两个不同远近的果蝇标本,经过算法的整合将图像标识上颜色,越近的苍蝇越趋近于红色,越远的苍蝇越趋近于蓝色。


4.jpg

▲因为是对图形边缘的计算成像,所以传统光学无法解决的测量难题,在新型传感器的帮助下也都不是问题了。比如说火焰深度识别。左一和左二均是由新型传感器捕捉,除了对焦位置不同之外没有其他区别。右一则是实时计算出的深度信息。


5.jpg

▲研究团队使用了各种场景进行测试,得益于一次拍摄能够得到两张焦点图,该传感器可以测量移动物体,比如AB中的飞行果蝇和喷流水。还可以测量半透明材料甚至是气体,比如BC的喷流水和烛光。对于同一平面上没有凸起的文字也能够识别出来,比如D打印在纸上的哈佛校名。

 

   目前这种传感器还属于原型器件,单次测量仅能在10cm内产生深度值,但是每个像素计算的算力远远小于传统深度测量系统,而且可以拍摄移动的物体,并实时输出深度数据。这种纳米光子和高效计算的有效集成技术相结合的方式,可以让人工深度感知在毫米级、微瓦级平台上成为现实。


2005-现在 凌云光技术 版权所有 京ICP备 13022863号-2