李擎1,何东钢2,李响2
(1.国网电力科学研究院通信与用电技术分公司智能用电终端业务部,北京100094;2.大连海洋大学辽宁省海洋信息技术重点实验室,辽宁大连116023)
摘要：基于结构光测量和小孔成像视觉的特点,用摄像机和投影仪所组成的三维结构光测量系统来进行水下三维视觉测量并获得水下空间中特征点的三维信息。利用结构光的双目视觉方法实现了对物体的三维测量,在世界坐标系中建立了此方法的数学模型,并获得摄像机和投影仪的内外参数。实验证明,当目标物体放置在距离摄像机光心2.50 m处,摄像机和投影仪光心相距为26.50 cm时,进行深度测量的精度可以达到0.5 mm,基本满足测量需求。
关键词：水下测量;双目视觉;摄像机标定;投影仪标定
水下目标探测和人工结构物的精确测量 (如水雷探测、海底地形探测、水底考古研究等)是中国探测技术较薄弱的环节。传统上声纳技术是检测水下目标的有效方法。但是由于水声的固有特性,声纳技术主要关注声传播的时间和幅度,确定目标的位置和估计目标的大小,而不是精确目标三维重构[1]。立体视觉测量方法[2]是利用图像创建或恢复现实世界模型来认知现实世界。水下结构光测量包含信息量巨大,计算机视觉模仿人类的视觉系统,通过分析二维图像来获取三维世界的信息[3]。Mattos等[4]采用声纳回波技术研究了水下跟踪与测量目标,但未涉及图像结构光的测量。Heikkila等[5]研究了四步法精确标定摄像机与图像校正技术,对结构光学精确测量技术进行了阐述,但对水下环境没有进行讨论。Kim等[6]和 Zhang等[7]分别研究了自然环境中无线红外传感器测距方法和水下二维光栅图案投影水下对象的三维形状测量方法,但对投影仪和摄像机联合标定与测量的研究较少。毛迟[8]应用结构光技术使物体表面光形状调制而发生变形,再用摄像机将其拍摄下来,但对投影仪标定没有进行深入研究。Bevilacqua等[9]通过所建立的数学模型研究了采用圆形标定板和相关图像处理技术来恢复物体的三维信息。
本研究中,作者基于摄像机标定方法和测量原理[10-11],测量使用一台投影仪和一台摄像机组成的三维结构光系统,采用该系统既可以根据双目视觉测量原理利用所建立的数学模型进行测量,又可利用投影仪中结构光具有的唯一性和特征性,解决了双目视觉测量中像素匹配难的问题,实验证明,这是一种简捷、实用的测量方法。
水下三维结构光测量系统主要由摄像机、投影仪、目标物体和计算机组成 (图1)。投影仪向目标物体投射出光栅型结构光,由于物体表面的不平整性,投影仪所投射的结构光会随着物体表面的起伏发生变形,再由摄像机将该图像传回上位机中进行处理。
设三维空间中的一点在世界坐标系中的坐标为(xw,yw,zw),在摄像机坐标系中的坐标为 (xc, yc,zc),在摄像机成像面上所形成图像的二维理想坐标为 (xu,yu),在摄像机成像面上所形成图像的二维实际坐标为 (X,Y),摄像机的焦距为f[12]。设摄像机坐标系相对于世界坐标系的旋转矩阵Rc和平移矩阵Tc分别为
图1 结构光三维视觉原理示意图
Fig.1 Schematic diagram of structured light 3D vision
对任意一点V(xw,yw,zw),在世界坐标系下的坐标和在摄像机坐标系下的坐标有如下关系:
运用光学成像原理,在摄像机坐标系下,坐标为 (xc,yc,zc)的一点P与图像物理坐标系上的投影之间的转化关系如图2所示。
图2 摄像机成像模型
Fig.2 Model of camera imaging
透镜成像时有如下成像关系:实际上,物体到光心O的距离u远大于焦距f,故有v≈f。即实际成像的模型符合小孔成像模型的几何关系,可得:
将坐标 (xu,yu,zu)转换为图像坐标系,并令X轴对应xu,Y轴对应yu,Z轴垂直于纸面向外对应zu,那么得到的图像坐标 (xu,yu,zu)为P(X, Y,0),即图2中的P点。得到了特征点在物理成像坐标平面上的坐标 (X,Y)以后,还要实现其由图像物理平面坐标向像素坐标 (u,v)的转化。转换过程如图3所示。
由图3可见,图像物理平面上的坐标(X,Y)与像素平面上的坐标 (u,v)有如下转化关系:至此,已知空间中某一点的世界坐标,便可以通过上述转化过程得到其在像素平面上的像素坐标。
图3 图像物理平面与像素平面之间的关系
Fig.3 The relationship between the picture physical plane and pixel planes
投影仪的光线方向可以看成是摄像机光线的相反方向。即采用类似光线追踪原理,通过投影仪投射的光线在物体上成像,在按照光经过的路径方向去看投射的过程,即将投影仪中原本待投影的图像看作是一个摄像机所成的像。由于投影仪是向外界投影,而不是从外界摄取图像,所以投影仪可以被看作是一个反向的摄像机。投影仪和摄像机的等效过程如图4所示。
图4 投影仪等效为摄像机的过程
Fig.4 The equivalent process between projector and camera
建立投影仪中的一点与摄像机所成图像中一点之间的对应关系如下:
这样,利用该摄像机-投影仪系统求出空间点的坐标为
若空间中点P,其在摄像机对应像素平面上的投影点 (uc,vc)和在投影仪对应像素平面上的投影点(up,vp)均满足以下的转化关系:
再结合式(8),可得:
因此,若该点在摄像机平面上的坐标为 (uc,vc),在投影仪所投射图像中的像素坐标为 (up,vp),则利用式 (10)可求得空间中该点的三维坐标。
利用该模型建立的系统进行实验,实验中模拟水下环境的标定板立于水下,采用水外投影仪投影和摄像机拍摄相结合的方式,投影仪投射到物体的表面,并以摄像机镜头光轴与投影仪镜头光轴成一定的角度拍摄物体。摄像机型号为UNIQ UP-930,像素平面有效像素为1024×1024,其CCD感光像元尺寸为4.65 μm。目标物体放置在距离摄像机光心2.50 m处,实际的距离需要由实验测出。投影仪型号为VIVITEK D935EX,像素平面调整为与连接的电脑相匹配,像素平面分辨率为600×800,投射的图像为棋盘格,方格的个数为8×8。实验的标定板共9×14个方格,每个方格大小为20.00 mm× 20.00 mm,如图5所示。
经过实验,摄像机焦距为12.50 mm,投影仪焦距为15.30 mm,摄像机与投影仪光心相距为26.50 cm左右时,特征点的空间坐标如表1所示。
图5 标定板和投影共面的实验图像
Fig.5 Experimental image with coplanar calibration board and projector
表1 摄像机和投影仪距离26.50 cm时特征点的空间坐标
Tab.1 The spatial coordinates of the feature points'distance between the camera and projector about 26.50 cm
xc/mm yc/mm zc/mm -292.469 -299.828 2.171×103-250.003 -296.327 2.151×103-209.850 -294.912 2.162×103-167.161 -285.020 2.100×103-127.318 -279.205 2.084×103-87.988 -275.968 2.065×103-49.407 -270.918 2.048×103-11.438 -267.780 2.029×10325.883 -262.247 2.014×10362.548 -259.211 1.996×10398.676 -253.816 1.980×103
根据图像像素坐标和表1中三维空间坐标数据,经计算得到投影仪的旋转矩阵和平移矩阵如下:
根据式 (13)计算的光心距26.80 cm与实际测量的光心距26.50 cm,误差较小;通过计算得到的标定板方格的横向边长为20.251 mm,而实际标定板每个方格的边长为 20.00 mm,绝对误差为0.251 mm,相对误差为1.25%,测量误差较小,满足水下测量需求。
本研究中利用摄像机和投影仪建立了水下三维测量模型,代替双摄像机所确立的立体视觉模型,获得物体的空间坐标。降低成本的同时,可减小水下光照不足带来的测量误差。这种测量方法,有望广泛应用于海洋测量和水下探测等工程领域。通过实验验证,当距水下物体目标约2.50 m,摄像机与投影仪光心距为26.50 cm时,利用该系统进行深度测量,测量误差可控制在亚毫米级别,基本满足正常测量需求。
参考文献：
[1] 王宗义.线结构光视觉传感器与水下三维探测[D].哈尔滨:哈尔滨工程大学自动化学院,2005.
[2] 李源慧,钟晓春,杨超,等.水下激光目标探测及其发展[J].光通信技术,2008(6):61-64.
[3] 马颂德,张正友.计算机视觉[M].北京:科学出版社,1998.
[4] Mattos L,Grant E.Passive sonar applications target tacking and navigation of an autonomous robot[C]//Proceedings of the 2004 International Conference on Robotics&Automation.New Orleans: IEEE International Conference,V01.5,2004:4265-4270.
[5] Heikkila J,Silven O.A four-step camera calibration procedure with implicit image correction[C]//Proceedings of the 1997 International Conference on Computer Vision and Pattern Recognition. Puerto Rico:IEEE Computer Society Conference,2004:1106-1112.
[6] Kim H H,Ha Y S,Jin G G.A study on the environmental map building for a mobile robot using infrared range-finder sensors [C]//Proceedings of 2003 Intelligent Robots and Systems.Las Vegas:IEEE/RSJ International Conference,V01.1,2003:711-716.
[7] Zhang Qican,Wang Qingfeng,Hou Zhiling,et al.Three-dimensional shape measurement for an underwater object based on twodimensional grating pattern projection[J].Optics&Laser Technology,2011,43:801-805.
[8] 毛迟.基于结构光测量技术的反求系统关键技术的研究[D].哈尔滨:哈尔滨大学,2005.
[9] Bevilacqua M,Liguori C,Paolillo A.Stereo calibration for a camera -projector pair[C]//Proceedings of 2010 Instrumentation& Measurement Technology Conference.Singapore:IEEE on I2MTC, 2010:492-497.
[10] 郝煜栋,赵洋,李达成.光学投影式三维轮廓测量技术综述[J].光学技术,1998(5):57-60.
[11] Cabian M,Rotzer H,Bischof H,et al.Head detection and localization from sparse 3D-data[C]//Proceedings of the 2002 Lecture Notes in Computer Science.Switzerland:Springer Berlin Heidelberg,2002:395-402.
[12] Zhang Z.A flexible new technique for camera calibration[J]. IEEE Transaction Pattern Analysis and Machine Intelligence, 2000,22(11):1330-1334.
A study on visual measurement method based on underwater 3-dimension structured light
LI Qing1,HE Dong-gang2,LI Xiang2
(1.Department of Intelligent Electrical Terminal Operation of Communication and Power Technology Branch Company,State Grid Electric Power Research Institute,Beijing 100094,China;2.Key Laboratory of Ocean Information Technology of Liaoning Province,Dalian Ocean University,Dalian 116023,China)
Abstract：Based on the characteristics of structured light measurement,the paper obtains 3D information on the feature points of underwater space through camera and projector system for 3D visual measurement.A mathematical model of underwater 3D data is established with the method of structured light binocular vision and by the principle of 3D measurement.The intrinsic and external parameters of the camera and projector are also obtained.The experiments show that when the target object is placed 2.50 m away from the camera principal point and it is 26.50 cm between the camera and projector,the calibration accuracy is less than 0.5 mm.This meets requirment for measurement basically.
Key words：underwater measurement;binocular vision;camera calibration;projector calibration
中图分类号：TP391.4
文献标志码：A
文章编号：2095-1388(2012)06-0583-04
收稿日期：2012-09-28
基金项目：国家自然科学基金资助项目 (61072035);辽宁省海洋与渔业厅项目 (2011027)
作者简介：李擎 (1980-),男,助理工程师。E-mail:lq801001@126.com
通信作者：何东钢 (1972-),女,高级实验师。E-mail:hdg@dlou.edu.cn