郭常有,曹广斌,韩世成,蒋树义
(中国水产科学研究院黑龙江水产研究所,黑龙江哈尔滨150070)
摘要：准确识别扇贝的大小和位置是实现扇贝自动化分级操作的首要条件。本研究中,应用图像处理技术对扇贝进行定位和识别,首先将采集到的扇贝彩色图像转换为灰度图,并通过阈值分割转变为二值图像,再通过滤波减少图像噪声,然后采用改进的OPTA算法和边界追踪算法提取扇贝图像边界,最后通过计算扇贝图像边界各点相对距离的最大值识别其尺寸,通过计算中心点得到位置坐标。实验结果表明,将图像处理技术用于扇贝的自动分类时,能够有效地完成扇贝的定位和尺寸识别,且计算量小,易于实现。
关键词：图像处理;改进的OPTA算法;中点法;扇贝
随着中国水产养殖业的快速发展,贝类养殖已形成一定规模,仅辽宁省虾夷扇贝增养殖面积就已达4万 hm2,年产量10余万 t,产值15亿元以上[1]。贝类水产品在生产销售过程中,需要将其按大小和品质进行分级,传统的分拣方法以手工操作为主,属于劳动密集型工作,生产条件恶劣,劳动强度高,效率低,易导致贝类新鲜程度下降,甚至会出现大量死亡的情况,直接影响经济效益;而机械分拣当前采用的主要是滚筒式分级设备,其原理是通过滚筒的翻滚,将不同大小的贝类从相应的筛孔中筛出,实现分级[2],这种设备极易使贝类受到撞击、震动或因壳体边缘互插而致死。大连某渔业集团曾花费巨资从日本引进了一套滚筒式扇贝分选设备,但由于损伤率太大而不得不将其闲置。
水产养殖企业急需一种无损分拣的自动化装备,而视觉伺服控制技术是实现贝类自动化无损分拣的关键技术。在国外,Mikami[3]于1981年研究了栉孔扇贝的外部形态后,开发了机械化分级技术,并在此基础上,于2006年实现了依据图像处理的无接触栉孔扇贝分拣技术;戸田勝善等[4]应用图像处理和自动控制技术,实现了栉孔扇贝翻转的有效控制。国内的相关研究起步较晚,2006年尹建军等[5]利用计算机视觉技术研究了不同生长状态下多目标番茄图像的自动分割方法,实现了对多目标番茄图像的有效分割,但实际效果并不理想;2008年蔡健荣等[6]采用2R-G-B色差分量,通过Ostu自适应阈值算法完成了自然场景下成熟柑橘的识别,然而由于处理过程较繁琐,降低了系统的处理速度,实时性较差;2009年马先英等[7]利用图像识别技术设计了一套自动分级与计数系统,通过海参在传送带上投影面积大小实现其等级分选与计数,但该系统仅限于对单体海参进行操作,实际应用受限;2010年钟取发等[8]为了定量评估农作物的虫害程度,提出基于典型叶片模板自动匹配的叶片虫损面积的测量方法,但由于模板选取的不确定性以及叶片本身形状的复杂度,实际应用受到较大限制;2012年郭显久等[9]采用最大类间方差法和形态学的开运算对微藻图像进行分割,实现了海洋微藻数量的自动统计,但是由于微藻自身的半透明性、个体重叠以及图像某部分过细导致统计结果出现误差。
研究虾夷扇贝的图像处理方法,是实现其自动化识别与分拣的核心技术。本研究中,作者采用改进的OPTA算法提取扇贝的边界,避免了特征提取过程中毛刺的出现,提高了系统运行速度,最后通过中点法确定扇贝的精确坐标,解决虾夷扇贝自动分拣设备研究的图像处理技术问题,旨在为开发虾夷扇贝自动分拣设备奠定技术基础。
本研究中对固定放置的3个不同大小的扇贝进行图像处理,图像处理流程如图1所示。首先用图像采集设备获得目标图像,通过对图像灰度化处理得到扇贝的灰度图像,然后进行阈值选取对图像进行二值化处理,并对获得的二值图像进行黑白噪声点滤波,消除干扰点,最后通过改进的OPTA算法确定扇贝的边界,利用目标图像长度作为条件计算扇贝的大小,并运用中点法输出扇贝的二维坐标。系统先读取调色板中的R、G、B,然后根据下式计算出亮度值:扇贝图像灰度化处理结果如图2所示。
通过视频采集技术得到的图像通常为彩色图像,为了减少计算机处理的信息量,加快其处理速度,需要把彩色图像转化为灰度图。灰度化处理是把含有亮度和色彩的彩色图像变换成灰度图像的过程[10-11]。要表示灰度图就需要把亮度值进行量化,通常划分为0～255共256个级别,其中0最暗(全黑),255最亮(全白)。所以在灰度化处理中,
图1 图像处理流程图
Fig.1 Flowing chart of image processing procedure
图2 灰度化处理前后的扇贝图像
Fig.2 Scallop images before and after grayscale processing
将获得的灰度化图像进行二值化处理,其中分割阈值的选取是图像二值化的重要环节。本研究中采用最大类间方差法,该方法由Otsu[12]于1979年提出,即基于整幅图像的统计特性实现阈值的自动选取,是全局二值化最杰出的代表。Otsu算法的基本思想是用某一假定的灰度值将图像的灰度分成两组 (或者两类),当两组的类间方差最大时,此灰度值就是图像二值化的最佳阈值。
利用该算法得到的扇贝图像二值化前后结果对比如图3所示。
图3 二值化处理前后扇贝图像的对比
Fig.3 Comparison of scallop images before and after binary contrast
假设原始图像为f(x,y),为了消去二值图像f(a,b)上的黑白噪声点,当图像f(a,b)周围的8个像素的平均值为α时,若 f(a,b)-α 的值大于127.5时,则对f(a,b)的黑白进行反转;若差值小于127.5时,则f(a,b)不变[9]。实现步骤如下:
1)取得图像大小、数据区,并把数据区复制到缓冲区中;
2)循环取得各点像素值;
3)取得该点周围8像素值的平均值;
4)将平均值与该点像素值相比,若差值大于127.5时,则把该点颜色反转;
5)把缓冲区中改动的数据复制到原数据区中。
4.1 扇贝边界线的提取
改进的OPTA算法统一模板如图4所示,其中P5为中心像素点,该算法要考虑P5是否由1变为0,左上角的3×3方形窗口 (即P1,P2,…,P9)为消除模板区域,×表示该点的像素值可以为黑色或白色像素点,对结果不产生影响。
图4 改进的OPTA算法统一模板
Fig.4 Uniform template of the improved OPTA algorithm
本算法中采用图5所示的8个模板作为消除模板,图5(a) ～(d)4个模板能有效去除边缘上的凸出物,避免出现毛刺,其中值1对应于二值化图像中的黑色像素点,值0对应于二值化图像中的白色像素点,?表示该点的像素值可以为黑色或白色像素点。
对阈值分割后的二值化图像采用改进的OPTA算法处理后,再采用3×3模板进行逐点扫描,如图6所示,如果点P1的8领域内的点 (P2～P9)全是黑点,即像素值为0,则认为当前点P1为非边界点,并进行记录,逐点扫描图像完毕后,将记录的非边界点全部转化为白点,即像素值为255,利用该方法处理完毕后的图像仅剩下目标物体边界线,如图7所示。
图5 对应的8个消除模板
Fig.5 Eight corresponding delete templates
图6 3×3模板
Fig.6 3×3 templates
4.2 边界点的追踪
对扇贝边界线提取后的图像进行逐点搜索,如果发现某点是黑点,例如,假设图6中P1是黑点,则P1点很可能是边界点,在其8领域内搜索另外的黑点,如果搜索到P2是黑点,则将模板中心转移到P2,并将黑点P1的像素值改为10,标记其为已被追踪过的点,然后从P2点开始继续追踪下一
图7 扇贝边界线提取前后图像的对比
Fig.7 Comparison of the boundary scallop images between before and after extraction
边界点,直到重新到达起点P1为止,得到一条闭合的曲线。如果追踪到的边界点不闭合,或总长度小于300,则认为这些边界点不是扇贝图像的边界,予以删除。将追踪到的有效扇贝边界点坐标记录到数组中,对于图7中的3个扇贝可以利用该方法得到对应3个边界点数组。
本研究中采用目标图像长度作为条件,通过计算数组中每两个坐标点之间的距离,提取出最长的距离来判断目标物体的大小,从而实现目标物体的识别。设数组中距离最远的两个点分别为A(x1, y1)和B(x2,y2),则AB的长度为
对于提取出来的目标长度,采用中点法通过下式计算出目标坐标:
其中:x、y为计算出来的X和Y方向上的中点坐标,即目标物体的坐标。
本实验所需的硬件包括六伺服机器手臂、Atmega168 MCU控制器、东日盈-KC-740型摄像机、DC power supply PS-305D直流电源、PC机和大小不同的3个扇贝。实验图像采集装置为单目固定位置摄像机,摄像机固定在机械手与扇贝的正上方,可观测到全局的目标物体特征,把采集的图像进行图像处理,并将得到的数组和坐标作为控制器的输入信息,通过上位机与控制器的串口实现实时通信,进而控制六伺服机械手对不同扇贝按照大小依次进行抓取。实验结果表明,分拣顺序正确,大小区分精准,应用效果很好。抓取过程如图8所示。
图8 扇贝抓取过程图 (从左至右)
Fig.8 The process of scallop crawling(from the left to the right)
笔者在研制虾夷扇贝自动分拣设备的过程中,利用图像处理技术,采用可靠的二值化算法,确定出最佳阈值,并通过改进的OPTA算法确定目标图像的边界,利用目标图像长度作为条件判断扇贝的大小,最后采用中点法得到扇贝的具体坐标,将该坐标信息作为控制机械手的控制量,完成了扇贝的分级抓取,实验结果较为理想。本研究结果表明,应用该图像处理技术,可以得到简单、精确的控制量,进而控制分拣机构的动作,达到了分拣顺序正确、大小区分精准的要求,从而在降低成本的同时,保证了控制系统的实时性,具有很好的应用前景。
参考文献：
[1] 徐皓,张建化.我国水产养殖工程学科发展报告[J].渔业现代化,2009,36(3):1-6.
[2] 沈建,郑晓伟,林蔚.文蛤分级试验研究与分级设备设计[J].渔业现代化,2007,34(6):39-42.
[3] Mikami T.Studies on the mechanization of the scallop culture[J].北海道大学水产学报,1981,32(3):242-249.
[4] 戸田勝善,林艾光,矢田貞美.動力学モデルに基づいた養殖用ホタテ稚貝の左殻上向き運動の解析[J].農業機械学会誌,2002,64(3),70-78.
[5] 尹建军,毛罕平,王新忠,等.不同生长状态下多目标番茄图像的自动分割方法[J].农业工程学报,2006,22(10):149-153.
[6] 蔡健荣,周小军,李玉良,等.基于机器视觉自然场景下成熟柑橘识别[J].农业工程学报,2008,24(1):175-178.
[7] 马先英,李明,熊文超,等.基于图像识别技术的海参分级与计数设备的设计[J].大连水产学院学报,2009,24(6):549-552.
[8] 钟取发,周平,付斌斌,等.基于典型叶片模板自动匹配的虫损叶面积测量[J].农业工程学报,2010,26(3):216-220.
[9] 郭显久,张国胜,耿春云.基于图像处理技术的海洋微藻数量统计方法[J].大连海洋大学学报,2012,27(4):368-372.
[10] 刘小力.机器人视觉伺服系统的图像处理和标定技术研究[D].南京:东南大学,2006.
[11] 马强.基于嵌入式Linux的视频采集系统设计与实现[D].西安:西安电子科技大学,2011.
[12] Otsu N.A threshold selection method from gray-level histograms [J].IEEE Trans,1979,9(1):62-66.
Automatic measurement of size and location in scallop based on image processing
GUO Chang-you,CAO Guang-bin,HAN Shi-cheng,JIANG Shu-yi
(Heilongjiang River Fisheries Research Institute,Chinese Academy of Fishery Sciences,Harbin 150070,China)
Abstract：It is important to measure size and location of scallop precisely for automated classification for scallops. This paper dealt with a method for automated classification for scallops based on image processing technology. First,the collected original image was converted to grey-scale image,which was then converted to binary image using the threshold segmentation method.Then,filtering method was adopted to reduce image noise.Furthermore, improved OPTA algorithm and tracing algorithm were used to extract the boundary of the scallop image.Finally,the size can be measured by calculation of the maximum distance of the scallop image boundary,and position coordinate is obtained by calculating the center point.The experiments showed that the proposed algorithm completed recognition of the positioning and size of the scallops for the automatic scallop classification effectively,with less calculation consumption and easy implement.
Key words：image processing;improved OPTA algorithm;midpoint method;scallop
中图分类号：TP241.2
文献标志码：A
文章编号：2095-1388(2012)06-0578-05
收稿日期：2012-05-11
基金项目：国家农业行业专项 (201003055)
作者简介：郭常有 (1984-),男,硕士,助理研究员。E-mail:gcylxp923525@126.com