基于计算机视觉的鱼类行为识别研究进展

郭建军1,陈杰鑫2,林丽君1,孔壹右2,叶俊伟2,许昕2*

(1.仲恺农业工程学院 信息科学与技术学院,广东 广州 510225;2.仲恺农业工程学院 自动化学院,广东 广州 510225)

摘要对鱼类的行为进行识别有利于养殖管理,能够为养殖户带来极大的便利。近年来,计算机视觉技术在鱼类识别领域中发展迅速,为鱼类行为识别提供了非接触式的机器检测方法。该技术融合了图像处理、机器学习等多领域的先进技术,通过对捕获的鱼类行为视频进行帧分析处理,提取关键帧图像信息,实现对鱼类行为模式的自动识别与量化分析。本文期望为未来的计算机视觉领域研究提供指导和启示,并推动相关技术在鱼类行为学研究中的深入应用和发展。

关键词计算机视觉;行为识别;水产养殖;鱼类行为

鱼类产品是人们公认的健康食品。据《中国渔业年鉴2024》[1],2023年全国水产养殖产量5 809.61万t,比2020年的5 224.20万t增长了11.21%。其中,鱼类养殖产量为2 977.30万t,2023年,全国水产养殖面积762.46万hm2,同比增长7.28%,全国水产品人均占有量50.48 kg,同比增长3.80%。因此,鱼类产品在粮食安全中扮演着重要的角色,在未来全球消费中仍具有进一步增加的潜力。

在过去几十年的发展中,国内的水产养殖业在产量、产业结构和渔民收入等方面均有明显的提升。目前,国内的水产养殖产量排名世界的第一位[2],已经拥有高达300多种的养殖品种,约占世界上水产养殖总量的60%[3],这表明水产品已经成为人们日常生活中必不可少的一部分。

近年来,计算机视觉技术以其高效、经济的特点而成为一种检测和评估工具,它通过模拟人的眼睛及大脑来进行观察和判断,该技术能够替代人们的一些视觉功能,可科学、高效地对鱼类行为进行识别和分析[4-5],在监测鱼类的行为中发挥着重要作用。目前,计算机视觉广泛应用于鱼类行为的监测、跟踪,以及监测水体环境质量等方面[4],在一定程度上为现代化的渔业资源保护与管理提供了相关理论基础和依据[6]

早期的鱼类行为识别技术研究依赖于传统的人为观察和手工记录,易受养殖密度、养殖场地及面积等因素影响[7],耗时耗力、实时性低、泛化能力低[8]。因此,更加高效、精确地监测和量化鱼类行为显得更为迫切。1933年,已有海外的动物学家利用电子胶卷来捕捉鱼的移动与方位变化[9]。20世纪50—80年代,联合国粮农组织关于鱼类捕捞需求和相关行为问题研究专题中,探讨了全世界各国的鱼类检测技术研究趋势和现状[10]。1998年,随着何大仁编著的《鱼类行为学》出版发行,国内鱼类行为的相关研究也逐渐展开。

2 监测鱼类行为相关方法

2.1 现场观察法

现场观察法作为研究鱼类行为的经典方法,可分为人为观察法和水下观察法。该方法通过直接观察鱼类的习性、体态和解剖结构等特征,为理解鱼类行为提供了直观的科学依据。然而,该方法也存在一定的局限性,尤其是在水体环境条件下表现不佳,如水体发生浑浊时,观察者难以实时监测鱼类的行为反应[11]

此外,由于不同鱼类的栖息地特性差异,水域的透明度往往存在显著变化,限制了该方法在鱼类行为研究中的广泛应用。

水下观察法作为一种先进的科研手段,通过运用水下摄像机、探测仪、声呐等高精度仪器设备[12],为鱼类行为学的研究提供了一种超越传统肉眼观察的替代方法。该方法不仅增强了在多样化水下环境中对鱼类行为进行观察的适应性,而且在观测的精确度和覆盖范围上实现了显著提升。此外,水下观察设备的运用极大地推动了鱼类行为研究的量化进程,其中,计算机视觉技术的应用尤为突出。通过这些水下观察仪器设备,研究人员能够实时监测并记录鱼类的关键信息,如体型大小、空间分布和游动速度等,为鱼类行为的深入分析提供了丰富的数据资源。水下观察法的优势在于其直接性和实时性,以及在不同环境条件下的高度灵活性,然而,相较于传统的观察方法,水下观察法的研究成本相对较高,对研究预算和资源分配会产生一定影响。

2.2 追踪探测法

追踪探测法作为一种远程监测技术,在鱼类行为学研究中占据重要地位。该方法通过对特定鱼群在河流或海洋水域中的潜游、洄游等行为进行系统调查和记录,实现了对鱼群行为模式的实时监测。追踪探测法的主要优势在于其监测的实时性和针对性,能够为研究人员提供即时的鱼类行为数据,从而更有效地理解鱼群的动态变化和行为特征,不足之处在于该方法易受环境和天气等因素的影响。

2.3 声学信号技术法

随着生物监测技术的不断进步,声学信号监测方法在评估鱼类资源的丰富度、探究其生理行为特征及进行种群识别等领域得到广泛的应用和研究[13]

声学技术的核心原理是通过发射单元向水体发射特定频率的声波,并接收这些声波的回声,从而对鱼群的行为模式进行监测和分析[14]。声波监控技术主要分为主动声呐技术和被动声呐技术两类。主动声呐技术通过发射声波信号并侦测其回声,以识别和定位目标鱼群。该技术因其在抵抗外部水环境干扰方面表现出的卓越性能,已成为国内外相关研究和实践中广受推崇的一种监测手段[15]。相较于主动声呐,被动声呐技术则专注于检测和分析鱼类自身发出的声波信号,通过确定声源位置、追踪并识别这些信号。被动声呐技术的优势在于其对鱼群的无损性和对环境的低侵入性,适用于长期监测任务,此外,该技术还可监测水质污染状况及评估人类活动对鱼类行为习性的影响[16]

目前,声学信号监测方法已被广泛应用于分析鱼类的摄食行为差异[17]、游泳模式[18]及栖息地变迁[19]等方面。该方法的优势在于其定位精度高、数据处理简便,以及能够提供连续性强的监测数据。然而,声学信号监测方法主要体现在其仅能对鱼类的种类、大小及与监测设备的距离进行探测,而无法实时准确地获取鱼类的详细位置和运动轨迹信息[20]。因此,与计算机视觉技术相比,声学信号方法在鱼类行为监测的应用范围相对较窄。黄月群等[20]使用声学标签方法对鱼类运动轨迹进行监测,为后续研究鱼类洄游、产卵地保护等方面提供了依据,缺陷是监测过程中可能出现标签电量不足、鱼类死亡等情况,导致获取到的数据准确度不够。林雅婷[21]总结了被动声学技术在海洋生物中的研究进展,表明了被动声学技术法在鱼类应用上的不足之处,并提出未来被动声学技术法需要研究的方向。王志超等[22]使用声学标志和无线跟踪方法对鱼类行为进行研究,结果表明,所选取的黑鲷均具有明显的昼夜活动规律及藏匿行为,但该方法的缺陷在于使用的超声波标志和质量尚无法在幼鱼阶段使用。

2.4 计算机视觉技术法

传统的人为测量方法,即通过定期捕捞并称重养殖水域中的鱼类,长期以来一直广泛应用于鱼类的生长评估中。该方法的优点在于其操作的直接性和简便性,但该方法易受主观因素的影响,且仅依赖单一的评估因素,无法全面反映鱼类的生长状况。此外,捕捞和称重过程可能会对鱼类造成应激反应,甚至可能导致一定程度的生理伤害[23]。声学信号技术法在一定时期内推动了鱼类行为监测和研究的进展,然而,由于对不同鱼类声学信号的发生机理了解不足,加之海洋环境中噪声的复杂性及研究人员经验的不足,该技术目前仅适用于有限的渔业资源监测范围。随着科技的发展,计算机视觉技术在鱼类监测领域中的应用应运而生,且得到广泛应用[24-26]。与传统的人工观察方法相比,计算机视觉技术不会干扰鱼类在水中的正常活动,可保证监测结果的自然性和真实性;其次,通过计算机视觉技术获得的数据具有更高的可靠性,为量化鱼类相关参数提供了强有力的支持[27]。与声学信号技术相比,计算机视觉技术能够实现远距离的鱼类监测,且对鱼类的数量和规格无过多的限制。此外,在面对鱼类重叠或多鱼体情况下,计算机视觉技术已经能够较为有效地实现鱼类的追踪和识别[28-30]

计算机视觉与其他技术(如声学、物联网等)的结合具有较大潜力。如多模态技术[31-37],它是指利用多种不同形式或感知渠道的信息进行表达、交流和理解的方式,通常包括文本[33]、视觉[34-35]、听觉[36]和触觉[37]等多种感官输入和输出方式,以增强数据理解和处理能力的技术。多模态技术的核心原理是融合来自不同模态的数据(如文本、图像[34]、视频[35]和音频等),通过结合这些多样化的信息源,弥补单一模态在任务中存在的不足,以获得更良好更全面的感知能力。相关研究中,杨雨欣[38]提出基于视觉和声音信息融合创新的多模态鱼类行为识别,并提出一种视觉与声音信息融合的多模态网络,以使鱼类行为模态互补,有效利用视觉和听觉模态特征间的关联性和互补性,提高鱼类行为识别的准确率。本研究团队将计算机视觉与物联网技术进行融合,提出基于融合机器视觉、大数据、物联网、智能建模和数据库等技术研发数字化无人生猪养殖系统[39],建立该系统的生猪养殖场能提高生猪养殖效率,降低人工成本,提升生猪养殖业的经济效益。因此,多模态行为识别可以从多样化的数据模态中提取并集成关键有效信息,从而获取到比单一模态数据更为全面、互补的信息内容。通过科学利用多种模态的综合信息,多模态行为识别可以更准确地理解行为背后的多样性和复杂性,以达到更好的网络鲁棒性。监测鱼类行为相关方法比较见表1。

表1 监测鱼类行为方法比较

Tab.1 Comparison among monitoring methods for fish behavior

监测方法monitoringmethod方法描述methoddescription优点advantage缺点shortcoming现场观察法spotobservationmethod直接观察鱼类的习性、体态和解剖结构等特征直接性和实时性,以及在不同环境条件下的高度灵活性容易受到主观因素和环境条件影响跟踪探测法trackingdetectionmethod通过对特定鱼群在水域中的行为进行系统的调查和记录,实现对鱼群行为模式的实时监测监测的实时性和针对性易受环境和天气等因素的影响声学信号技术法acousticsignaltechnologymethod通过发射单元向水体发射特定频率的声波,并接收这些声波的回声,从而对鱼群的行为模式进行监测和分析定位精度高、数据处理简便,以及能够提供连续性强的监测数据无法实时准确地获取信息,应用范围相对较窄,数据准确度不够计算机视觉技术法computervisiontechnologymethod用摄影机、电脑等代替人眼对监测目标进行识别、跟踪和测量等,进一步做图形处理,使电脑处理成为更利于人眼观察或传送给仪器检测的图像操作的直接性和简便性,监测结果的自然性和真实性,实现远距离的监测需要在特定的环境中,具有指定的光照,背景和目标姿态要求

3 应用计算机视觉方法监测鱼类行为

利用计算机图像处理技术,旨在通过分析鱼类活动的视频资料,对其行为模式进行深入探究。具体而言,通过捕获鱼类运动的连续视频帧,并运用图像处理算法对这些帧进行逐一分析,能够识别并追踪鱼类在视频中的移动轨迹。该方法的核心在于对连续帧之间的差异进行量化比较,从而实现对鱼类行为的精确跟踪和轨迹识别。鱼类的轨迹分析系统主要分为图像采集、图像预处理、形态识别、目标划分、目标追踪和轨迹生成这六大环节。通过采集到的鱼类运动路径数据,能够在一定程度上揭示鱼类的行为状态,再进一步结合鱼类的游动速度、尾部摆动频率等行为特征,实现对鱼类的行为进行定量化分析[38]

3.1 运动目标检测

运动目标检测通过处理视频图像数据,识别并提取出图像中的运动目标,其过程涉及目标特征提取、目标表示及分类器的训练等多个关键步骤。在传统的目标检测方法中,Haar特征、HOG特征、SIFT特征及SURF特征等被广泛应用于各种检测任务,这些方法通过手工设计的特征提取器来捕捉目标的关键信息。伴随着深度学习的迅速发展,基于卷积神经网络的深度学习方法在运动目标检测领域也展现出巨大的潜力。如R-CNN系列、YOLO系列及SSD等深度学习模型,这些模型通过自动学习数据的高层特征,极大地提高了目标检测的准确性和效率。为了实现对运动目标鱼类的检测,本研究中探讨了3种主要的运动目标检测算法[40]:帧间差分法、背景差分法和光流法。且这3种算法的对比见表2。

表2 运动检测算法比较

Tab.2 Comparison among motion detection algorithms

检测算法detectionalgorithms算法描述algorithmdescription优点advantage缺点shortcoming帧间差分法interframedifferencemethod将获取图像相邻两帧或连续三帧间进行差分运算简单、直接、更新速度快,检测灵敏度高,实时性高提取目标完整性差,对环境噪声较敏感背景差分法backgrounddifferencemethod将获取图像的当前帧与预先储备好的背景帧进行差分运算实时性高,提取目标区域完整,检测效果优良只适用于静态场景下的运动目标分割,受外界因素影响大光流法opticalflowmethod计算出图像的光流场,比较图像中各像素点数值的变化适用于静止或动态场景,检测精度高计算复杂性高,抗干扰能力差,实时性差

3.1.1 帧间差分法 帧间差分技术是一种广泛应用于运动检测领域的算法,其基本原理在于通过计算连续视频帧之间的像素差异来识别和定位运动物体[41]。在水下鱼类监测的研究中,该技术通过对比连续的两帧或三帧视频画面,执行差分运算,进而实现对运动中鱼群位置的精确定位[42]。该方法因其简单性和直接性,在不同水下环境中对光照强度变化的抗干扰能力表现出显著的优势。帧间差分法主要分为两种类型:基于相邻两帧的差分和基于连续三帧的差分[43]。其中两帧差分法计算量较小,适用于对实时性要求较高的场景,但在处理快速运动目标时会出现信息丢失。两帧差分法是用视频序列图像中相邻两帧图像展开差分运算,进而获得差分图像,然后对差分图像开展阈值分割处理,检测具体运动目标[40],其基本流程图如图1所示。三帧差分法[40]以两帧差分法为基础,通过引入另外的一帧来提高算法在复杂环境下的稳定性和准确性,但对应的计算成本可能要增加。其主要是选取相邻的三帧图像展开差分运算,然后用阈值进行分割获得二值化图像,最后将所得的二值化图像进行运算,其基本流程如图2所示。

图1 两帧差分法流程

Fig.1 Flow chart of two-frame difference method

图2 连续三帧差分法流程

Fig.2 Flow chart of continuous three-frame difference method

3.1.2 背景差分法 背景差分法是一种广泛应用于计算机视觉领域的运动检测技术,其基本原理是通过比较当前捕获的帧图像与预先建立的背景图像之间的差异来识别出图像中的运动物体[44]。该方法的核心在于构建一个有效的背景模型,并持续地与新的帧图像进行差分操作,通过动态地更新背景模型,以获得更为精确的背景表示。背景差分法主要在于其在静态场景下的运动目标检测具有较好的性能。但是,当图像背景灰度变化较大或者摄像头存在运动的情况下,背景差分法可能不能够有效区分背景与运动目标,从而导致检测性能下降。背景差分法首先建立背景模型;其次,将检测图像与背景模型图像进行差分运算,再次,对差分图像进行阈值分割处理,最后提取视频图像中的运动目标,其流程图如图3所示。在背景差分法中,背景模型的更新频率与运动目标的移动速度间存在密切的关系。更新速度过快可能导致背景模型无法准确反映场景的真实背景,而更新速度过慢则可能导致对运动目标的检测不够灵敏。目前,研究者已提出多种背景建模方法,包括Kalman滤波器模型、基于高斯分布的背景模型及统计平均法等[45]。这些方法在不同程度上提高了背景模型的准确性和鲁棒性。

图3 背景差分法流程

Fig.3 Flow chart of background difference

3.1.3 光流法 光流法是用于估计图像序列中像素点运动的一种技术,最早由Gibson在1950年提出[46]。在采集的视频图像中,背景对应的光流是连续且均匀变化的,当发生目标运动时,光流场中的矢量就会发生改变,这时运动目标和背景区域相应的像素点的光流矢量就会有很大的变化,根据光流矢量的改变就能实现对视频图像中运动目标的有效检测,其流程如图4所示。该方法通过计算图像的光流场,捕捉每个像素点随时间的强度变化,从而实现对运动目标的有效检测。光流法的核心优势在于其广泛的适用性,能够同时处理动态和静态场景中的运动检测问题[47]。该技术实际上揭示了三维空间中运动物体与二维图像平面上像素点之间的关系,具备处理较大帧间位移的能力,且对运动目标的帧间变化无过多的限制。然而,光流法在鲁棒性方面存在一定的局限性,这限制了其在需要实时处理的应用场景中的广泛应用。另外,光流法的计算过程相对复杂,且对噪声的抵抗能力有限,这在处理实际图像数据时可能导致准确性下降[48]

图4 光流法流程

Fig.4 Flow chart of optical flow

研究光流法常用有两种方法,即基于全局光流场的方法和基于特征点光流场的方法[49]。全局光流场的计算方法又进一步细分为稠密光流法和稀疏光流法,稠密光流法虽然准确率高,但是需要处理大量的数据,且计算时延大;相比之下,稀疏光流法在运算量和计算速度方面具有明显优势[50],因而在多目标跟踪等实际应用场景中得到广泛的应用。基于特征点的光流法通过匹配运动目标的特征点,并计算这些特征点的光流速度,从而实现对目标运动的估计;这种方法在计算量上相对较小,且具有较高的灵活性,在处理一定噪声和复杂背景的图像序列时,能够提供更为可靠的运动估计结果。

3.2 运动目标跟踪算法

在运动目标跟踪的研究中,主要存在两种不同的方法论思路[51]。第一种方法不依赖于任何先验知识,直接对运动目标进行实时跟踪;这种方法通常侧重于图像序列中的特征提取和匹配,以及基于这些特征的实时更新和预测。第二种方法则基于对运动目标的先验知识进行建模,通过模型与图像序列中的观测数据进行匹配,以识别和追踪特定的运动目标;这种方法能够利用目标的物理特性和行为模式,提高跟踪的准确性和鲁棒性。均值偏移法(mean shift)、卡尔曼滤波技术(Kalman filtering)及粒子滤波技术(particle filtering)是运动目标跟踪中常用的3种算法[52]。未来的研究应当致力于进一步优化这些算法的性能,提高其在复杂环境下的跟踪准确性和鲁棒性,同时探索新的算法和技术,以适应不断增长的应用需求和技术挑战。

3.2.1 均值漂移算法 均值漂移算法(mean shift algorithm),最初由Fukunaga与Hostetler在1957年提出,是一种基于概率密度函数的特征空间分析方法[53]。该算法通过对特征向量进行转换,将其视为目标特征的概率密度表示,并在此基础之上,采用最大化搜索策略针对运动目标的邻近区域进行分析,以实现对目标的有效跟踪。均值漂移算法的核心优势在于其对目标的旋转、边缘遮挡及形状变形具有较强的鲁棒性[54]。在计算效率方面,均值漂移算法相较于其他复杂的目标跟踪算法,具有较低的计算量。因此,均值漂移算法作为一种有效的目标跟踪方法,在处理复杂场景下的运动目标跟踪问题时展现出显著的优势。其鲁棒性强、实时性高和计算量相对较低的特点,使其在计算机视觉、图像处理和模式识别等领域得到了广泛的应用。均值漂移算法的搜索过程图如图5所示。

图5 均值漂移算法搜索过程

Fig.5 Search process graph of mean shift algorithm

3.2.2 卡尔曼滤波算法 卡尔曼滤波技术,称为线性二次估计(Linear Quadratic Estimation,LQE),是一种高效的预测性滤波算法。该技术最初由R.E.Kalman在1960年发表的学术论文中提出,其核心思想是通过构建目标动态系统的数学模型来进行状态估计,并在此基础上,结合新的观测数据和先前的状态估计来实时更新系统状态。卡尔曼滤波器的设计基于线性系统动态和观测模型,并假设过程噪声和观测噪声为高斯白噪声,其主要步骤包括预测、更新和校正。自卡尔曼滤波技术提出以来,其在多个领域得到了广泛应用[55-57]。在雷达和导弹追踪领域,卡尔曼滤波器用于实时精确地估计目标位置和速度[58]。在机器人导航领域,该技术则用于处理传感器数据,提供准确的位置和姿态估计,从而实现自主导航和路径规划[59-61]。在人脸识别中,卡尔曼滤波器可用于跟踪人脸的运动,以提高识别的准确性和鲁棒性[62-64]

3.2.3 粒子滤波算法 粒子滤波算法(particle filtering),又名序贯蒙特卡洛法(sequential monte carlo method),是一种基于蒙特卡洛模拟和贝叶斯推断理论的数值优化方法[65]。该算法通过迭代处理采集到的数据信息,以实现对系统状态的估计和预测。粒子滤波算法以其在资源消耗上的高效性、对复杂非线性系统和非正态分布问题的处理能力而受到广泛关注。粒子滤波算法的核心机制包括初始化、预测、更新、重采样和归一化等关键步骤。粒子滤波算法在处理非线性和非高斯问题方面展现出卓越的性能,尤其适用于那些难以通过解析方法求解的状态估计问题。然而,该算法存在采样效率较低、计算复杂度较高等局限性[66]。表3总结了常见的运动跟踪算法及各自的优劣势。

表3 运动跟踪算法比较

Tab.3 Comparison among motion tracking algorithms

算法algorithm算法描述algorithmdescription优势advantage缺陷defect均值漂移算法meanshift对运动目标邻近区域进行最大化搜索,完成对目标的跟踪实时性强,计算量小鲁棒性差,对目标尺寸大小变化敏感卡尔曼滤波算法Kalmanfiltering对运动目标建立模型,实时依据预测数据更新状态实时性强,计算量小不适用于非线性、非高斯系统,需要先验知识粒子滤波算法Particlefiltering寻找状态空间中的随机样本近似表示概率密度函数,用样本均值替代积分运算,从而获得系统状态的最小方差估计鲁棒性强,跟踪有效性强,抗躁性强实时性差,时间复杂度大

4 鱼类行为参数及应用

4.1 视觉范围、运动轨迹和尾拍频率

近年来,得益于计算机视觉技术的显著进步,结合数学建模和仿真可视化的研究方法已成为探索鱼类行为的一种重要手段。计算机视觉技术的应用极大地推动了对鱼类各类行为现象及其内在规律的理解。通过对鱼类行为的观察和分析,研究者能够揭示鱼类行为的动态特性、相互作用机制及各类行为的适应性意义。此外,对鱼类行为的研究不仅有助于深入理解鱼类行为出现的现象,还能提供关于鱼类运动规律、习性及行为模式的重要信息,如视觉范围、运动轨迹和尾拍频率等。这些信息对于水产养殖业、生态保护和资源管理等领域具有重要的应用价值。张慧[67]选定了易受光线影响的鲫进行试验,应用计算机视觉技术,并根据设置的视野能力差异探索照明条件如何作用于鱼群的行动模式;胡瑞南[68]利用鱼类的运动轨迹提出基于仿生机器鱼的水下图像增强式视觉三维重建方法,该方法可以实现仿生机器鱼在水下的路径规划和自主导航等功能;在Fish等[69]的试验中,通过对金体美鳊集群游动时尾拍频率的精确测量,揭示了集群中位于后方的鱼类能够实现超过20%的最大节能量转化效率。

4.2 鱼鳍

鱼类的身体结构和运动方式是长期自然选择和环境适应的结果。鱼类通过其独特的推进机制,能够在消耗较少能量的前提下,有效地达到所需的游动速度。在漫长的进化过程中,鱼类发展出了形态各异的鳍状结构,如胸鳍、尾鳍和背鳍等,这些鳍不仅赋予了鱼类在三维水环境中改变位置和姿态的能力,还极大地提升了其机动性和生存适应性。如胸鳍主要用于稳定身体及改变方向[70],胸鳍和尾鳍主要用于水环境监测领域[71],鱼鳍用于鱼质量预测模型和质量分级[72]。鱼鳍的形态学特征,包括其形状、颜色和大小等,对于研究者而言具有重要的研究价值。这些特征不仅反映了鱼类的物种特性,还能够作为行为识别的重要依据。在计算机视觉技术领域,研究者通过先进的图像处理技术,对鱼鳍的特征进行精确提取,并结合机器学习和深度学习算法,实现了对鱼类行为的自动识别和分类。按照鱼类游动时使用不同部位的鱼鳍,可分为BCF模式(body and/or caudal fin)和MPF(median and/or paried fin)模式[73]。目前,在对大量鱼类游动机制研究中仅仅局限于单一的胸鳍或者尾鳍推进模式,单一的推进模式在反映真实鱼类运动的高效性和灵活性方面仍有一定的差距。

5 总结与展望

5.1 总结

在计算机视觉领域研究中,针对鱼类行为分析的进展已经取得了显著成果。本文重点在于概述这些研究成果,并探讨其在实际生产应用中的价值。

1)图像采集技术的创新为鱼类行为研究提供了重要的技术支持。随着高清摄像技术的发展和应用,研究人员得以捕捉到更为清晰和详细的鱼类行为图像,实现鱼类生长习性的动态观测,构建鱼类的各阶段生长模型,方便对鱼类进行变量精准饲喂和养殖管理。

2)目标检测与跟踪算法的应用。在传统方法基础上,结合计算机视觉技术,研究人员已经能够更加精确地识别和追踪鱼类个体的行为,从而可以实时追踪鱼类的生态链,为深入理解鱼类行为和进行生态保护提供了一定基础。

3)行为识别技术的应用使得鱼类行为的自动识别成为现实。通过计算机视觉及其相关算法,研究人员能够对鱼类的摄食行为、集群行为、游泳行为等进行有效识别和分析,这不仅提高了资源利用效率,还实现了渔业与环境的和谐共生,有助于推动渔业向绿色、生态、可持续的方向发展。

5.2 展望

虽然计算机视觉技术已在多个方面取得了显著进展,但该技术仍存在一些亟待解决的问题。本文对这些问题进行深入探讨,并提出一些未来研究方向的建议。

首先,针对单一变量对鱼类特定特征的影响研究存在一定的局限性。单一变量的研究往往容易忽略多种环境因素交互作用的影响,从而在综合评估水质方面存在着一定不足。为了弥补这一缺陷,未来研究中需要采用更为全面的分析方法,考虑多种环境因素对鱼类特征的共同影响,以获得更为准确的水质监测结果。

其次,基于计算机视觉的鱼类行为识别技术仍面临诸多挑战。如在养殖水体环境中,光照强度的变化和鱼群的遮挡现象会对图像质量产生负面影响,进而增加图像分割处理的难度。为了解决此问题,一方面可以增加水下光补偿设备[74],另一方面可以利用基于先验信息[75]、图像融合[76]、场景深度估计[77]、物理模型[78]、深度学习和变分方法[79]等的复杂光照水下图像增强技术。此外,对鱼类行为的量化分析也存在一定的挑战性,这要求研究者开发更为先进的图像处理算法,以提高识别精度和量化准确性。

再次,为了精准对鱼类行为进行识别,不仅需要计算机视觉技术,还需融合雷达、区块链、大模型、语言预训练模型、多尺度特征、边缘计算等技术的多模态目标检测,当然,新技术的融合需要一定的时间来验证其性能和鲁棒性,还有高成本的运算基础,这都需要本领域专家齐心协力共同攻克。

最后,已有研究不仅为后续研究提供了宝贵数据和经验,还为解决现有问题提供了可能途径。在将来的研究中,为了展示该领域创新研究的前景,可能产生如下算法改进方向:

1)检测模型的增强。在未来鱼类行为研究的背景下,迫切需要开发和完善更为精确的评估方法和参数模型。这些模型能够适应多样化的水产养殖环境,并针对不同种类的鱼类进行有效的行为分析。

2)检测技术的优化与创新。在水下环境监测技术领域中,对硬件系统和算法的持续优化与创新是至关重要的。这些技术的进步将直接影响到获取图像的清晰度,进而影响到鱼类行为分析的准确性和可靠性。

3)检测环境的包容性。目前研究中,基于计算机视觉技术的鱼类行为量化研究主要在受控的实验室环境中进行。然而,这些研究环境与自然水体中鱼类所处的复杂生态环境相比,存在显著的差异。因此,未来应着重在自然水体环境中开展鱼类行为的识别与量化分析研究,以获得更为真实可靠的科学数据。

4)跨学科合作的加强。计算机视觉技术的研究需要与其他学科,如生物学、环境科学等领域的专家进行合作,以在鱼类行为识别和量化分析等方面取得更为全面和深入的研究成果。

5)计算机视觉与其他技术结合的集成应用。在当前的科学研究中,计算机视觉技术与其他技术相结合的集成应用,已经成为提升鱼类识别精度的重要手段,并被视为未来研究的关键发展趋势。比如计算机视觉与声学技术的融合,展现出了巨大的潜力和价值。一方面,声学技术以其准确性和连续性的特点,在水下环境中对鱼类行为的监测和识别发挥着重要作用。声学信号的传播不受光线条件的限制,能够在深海等光照条件不佳的环境中实现有效的鱼类探测。此外,声学技术能够提供连续的监测数据,有助于研究人员对鱼类行为模式进行长期的观察和分析。另一方面,计算机视觉技术在图像处理和模式识别方面的优势,能够有效弥补声学技术在远距离监测方面的不足。因此,计算机视觉与声学技术的结合,不仅能够提高鱼类识别的精确性,还能够扩大监测范围,实现更为全面和深入的鱼类行为研究。预计这种跨学科的技术融合将为水产养殖、海洋生态保护及相关领域的研究带来革命性的改变。

参考文献:

[1] 农业农村部渔业渔政管理局,全国水产技术推广总站,中国水产学会.2024中国渔业统计年鉴[M].北京:中国农业出版社,2024.Bureau of Fisheries,Ministry of Agriculture and Rural Affairs,National Fisheries Technology Extension Center,China Society of Fisheries.2024 China fishery statistical yearbook[M].Beijing:China Agriculture Press,2024.(in Chinese)

[2] FAO.The State of World Fisheries and Aquaculture 2022—Towards Blue Transformation[R].Rome,FAO.2022.https://www.fao.org/3/cc0461en/cc0461en.pdf

[3] NIU B S,LI G Y,PENG F,et al.Survey of fish behavior analysis by computer vision[J].Journal of Aquaculture Research &Development,2018,9(5):1-15.

[4] 陈浩.基于多源数据融合的圈养鲈鱼智能投饵决策系统研究[D].武汉:华中农业大学,2023.CHEN H.Research on an intelligent feeding decision system for cultured bass based on multi-source data fusion[D].Wuhan:Huazhong Agricultural University,2023.(in Chinese)

[5] 欧利国.基于计算机视觉的金枪鱼生物信息智能化识别研究[D].上海:上海海洋大学,2023.OU L G.Research on intelligent identification of tuna biological information based on computer vision[D].Shanghai:Shanghai Ocean University,2023.(in Chinese)

[6] 于晓明,张秀梅.鱼类游泳能力测定方法的研究进展[J].南方水产科学,2011,7(4):76-84.YU X M,ZHANG X M.Research progress onmeasurements of fish swimming ability[J].South China Fisheries Science,2011,7(4):76-84.(in Chinese)

[7] 张铮,沈彦兵,张泽扬.基于运动特征提取和2D卷积的鱼类摄食行为识别研究[J].农业机械学报,2024,55(6):246-253.ZHANG Z,SHEN Y B,ZHANG Z Y.Recognition of feeding behavior of fish based on motion feature extraction and 2D convolution[J].Transactions of the Chinese Society for Agricultural Machinery,2024,55(6):246-253.(in Chinese)

[8] 朱明,李梦珂,万鹏,等.基于鱼体特征点检测的淡水鱼种类识别[J].农业工程学报,2023,39(11):155-164.ZHU M,LI M K,WAN P,et al.Identification of freshwater fish species based on fish feature point detection[J].Transactions of the Chinese Society of Agricultural Engineering,2023,39(11):155-164.(in Chinese)

[9] GRAY J.Studies in animal locomotion:Ⅲ.the propulsive mechanism of the whiting (Gadus Merlangus)[J].The Journal of Experimental Biology,1933,10(4):391-400.

[10] 周杨浩.青海湖裸鲤自然繁殖环境需求及其人工模拟产卵场构建技术[D].武汉:华中农业大学,2021.ZHOU Y H.Natural spawning environmental requirements of Gymnocypris przewalskii from Qinghai Lake and the construction technology of artificial spawning grounds[D].Wuhan:Huazhong Agricultural University,2021.(in Chinese)

[11] 朱晓林,王冬丽,欧阳万里,等.基于深度学习的群体行为识别:综述与展望[J].控制理论与应用,2024,41(12):2207-2223.ZHU X L,WANG D L,OUYANG W L,et al.Group activity recognition based on deep learning:overview and outlook[J].Control Theory &Applications,2024,41(12):2207-2223.(in Chinese)

[12] 顾嗣明.水下电视在渔业中的应用和展望[J].国外水产,1980(4):27-30.GU S M.Application and prospect of underwater TV in fishery[J].Foreign Fisheries,1980(4):27-30.(in Chinese)

[13] SIMMONDS J,MACLENNAN D.Fisheriesacoustics:theory and practice[M].2nd edition.Hoboken:Wiley-Blackwell,2005.

[14] 于铭,杨士莪.被动式渔探仪开发设计与试验研究[J].应用声学,2007,26(4):231-238.YU M,YANG S E.Design and testing of a passive fishery detector[J].Applied Acoustics,2007,26(4):231-238.(in Chinese)

[15] STANTON T K.30 years of advances in active bioacoustics:a personal perspective[J].Methods in Oceanography,2012,1:49-77.

[16] ROUNTREE R,JUANES F,GOUDEY C.Listening to fish:applications of passive acoustics to fisheries[J].The Journal of the Acoustical Society of America,2006,119(5_Supplement):3277.

[17] ZENG Y H,YANG X T,PAN L,et al.Fish school feeding behavior quantification using acoustic signal and improved Swin Transformer[J].Computers and Electronics in Agriculture,2023,204:107580.

[18] STEIG T W,TIMKO M A.Innovative techniques for analyzing the three-dimensional behavioral results from acoustically tagged fish[J].The Journal of the Acoustical Society of America,2005,117(4_Supplement):2367.

[19] PINNIX W D,NELSON P A,STUTZER G,et al.Residence time and habitat use of coho salmon in Humboldt Bay,California:an acoustic telemetry study[J].Environmental Biology of Fishes,2013,96(2):315-323.

[20] 黄月群,蔡德所,宋晓红,等.基于声学标签系统的鱼类运动轨迹监测技术[J].南方水产科学,2020,16(4):114-120.HUANG Y Q,CAI D S,SONG X H,et al.Study on monitoring technology of fish motion trajectories based on Acoustic Tag System[J].South China Fisheries Science,2020,16(4):114-120.(in Chinese)

[21] 林雅婷.基于被动声学技术的南美白对虾行为状态分类识别研究[D].厦门:厦门大学,2022.LIN Y T.Study on classification and identification of behavior state of Penaeus vannamei based on passive acoustic technology[D].Xiamen:Xiamen University,2022.(in Chinese)

[22] 王志超,陈国宝,曾雷.基于声学标志和无线跟踪方法的鱼类行为研究[J].南方水产科学,2018,14(2):51-59.WANG Z C,CHEN G B,ZENG L.Study of fish behavior using acoustic fish tags and wireless tracker[J].South China Fisheries Science,2018,14(2):51-59.(in Chinese)

[23] 申阳,王冲宇,赵佳怡,等.基于改进YOLOv8和多目标跟踪的鱼苗计数方法[J].农业工程学报,2024,40(16):163-170.SHEN Y,WANG C Y,ZHAO J Y,et al.Fry counting method using improved YOLOv8 and multi-target tracking[J].Transactions of the Chinese Society of Agricultural Engineering,2024,40(16):163-170.(in Chinese)

[24] 钟继刚.大数据环境下计算机软件技术分析[J].信息记录材料,2020,21(1):137-138.ZHONG J G.Analysis of computer software technology in big data environment[J].Information Recording Materials,2020,21(1):137-138.(in Chinese)

[25] 梁钊董,熊兴国,徐东坡,等.基于形状及纹理特征的淡水鱼种类自动识别方法[J].南京农业大学学报,2021,44(3):576-585.LIANG Z D,XIONG X G,XU D P,et al.An automatic method for freshwater fish species classification using shape and texture features[J].Journal of Nanjing Agricultural University,2021,44(3):576-585.(in Chinese)

[26] 谷立帅.基于时空特征融合的鱼类摄食行为量化系统研究与实现[D].大连:大连海洋大学,2024.GU L S.Research and implementation of quantitative system of fish feeding behavior based on spatio-temporal feature fusion[D].Dalian:Dalian Ocean University,2024.(in Chinese)

[27] 裴凯洋,张胜茂,樊伟,等.基于计算机视觉的鱼类视频跟踪技术应用研究进展[J].海洋渔业,2022,44(5):640-647.PEI K Y,ZHANG S M,FAN W,et al.Research progress of fish video tracking application based on computer vision[J].Marine Fisheries,2022,44(5):640-647.(in Chinese)

[28] 李道亮,姜国旗,杨建安,等.基于计算机视觉的鱼类低氧胁迫行为检测与跟踪算法[J].农业机械学报,2023,54(10):399-406.LI D L,JIANG G Q,YANG J A,et al.Detection and tracking algorithm of fish hypoxia stress behavior based on computer vision[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(10):399-406.(in Chinese)

[29] 殷健豪.基于多尺度特征学习的轻量化鱼类个体识别方法研究[D].大连:大连海洋大学,2024.YIN J H.Research on lightweight fish individual identification method based on multi-scale feature learning[D].Dalian:Dalian Ocean University,2024.(in Chinese)

[30] 赵海翔,崔鸿武,黄桢铭,等.基于Bytetrack的多目标跟踪算法在斑马鱼毒性行为识别中的应用[J].渔业科学进展,2024,45(2):136-149.ZHAO H X,CUI H W,HUANG Z M,et al.Application of a bytetrack-based,multi-target tracking algorithm for zebrafish toxicity-response behavior recognition[J].Progress in Fishery Sciences,2024,45(2):136-149.(in Chinese)

[31] ATREY P K,HOSSAIN M A,EL SADDIK A,et al.Multimodal fusion for multimedia analysis:a survey[J].Multimedia Systems,2010,16(6):345-379.

[32] 杨雪洲,徐伟,王琼,等.基于分解的差分进化算法求解多模态多目标优化问题[J].陕西师范大学学报(自然科学版),2025,53(1):103-113.YANG X Z,XU W,WANG Q,et al.Solving multi-modal multi-objective optimization problems based on decomposition differential evolution algorithm[J].Journal of Shanxi Normal University (Natural Science Edition),2025,53(1):103-113.(in Chinese)

[33] 张新长,赵元,齐霁,等.基于Al大模型的文生图技术方法研究及应用[J].地球信息科学学报,2025,27(1):10-26.ZHANG X C,ZHAO Y,QI J,et al.Research and application of text-to-image technology based on Al foundation models[J].Journal of Geo-Information Science,2025,27(1):10-26.(in Chinese)

[34] 陈维,施昌勇,马传香.基于多模态数据融合的农作物病害识别方法[J].计算机应用,2025,45(3):840-848.CHEN W,SHI C Y,MA C X.Identification method of crop diseases based on multimodal data fusion[J].China Industrial Economics,2025,45(3):840-848.(in Chinese)

[35] 韩瑞泽,冯伟,郭青,等.视频单目标跟踪研究进展综述[J].计算机学报,2022,45(9):1877-1907.HAN R Z,FENG W,GUO Q,et al.Single object tracking research:a survey[J].Chinese Journal of Computers,2022,45(9):1877-1907.(in Chinese)

[36] 代树兰,苗珊.多模态批评话语分析:特征、方法与策略[J].西安外国语大学学报,2024,32(3):33-37.DAI S L,MIAO S.Multimodal critical discourse analysis:Features,approaches and strategies[J].Journal of Xi’an International Studies University,2024,32(3):33-37.(in Chinese)

[37] 张运杰.用于盲人学习虚拟盲文和图像信息的力触觉再现方法研究[D].南京:南京信息工程大学,2024.ZHANG Y J.Research on haptic reproduction method for blind people to learn virtual Braille and image information[D].Nanjing:Nanjing University of Information Science &Technology,2024.(in Chinese)

[38] 杨雨欣.复杂条件下声音与视觉特征融合的鱼类行为识别方法研究[D].大连:大连海洋大学,2024.YANG Y X.Research on fish behavior recognition method based on the fusion of sound and visual features under complex conditions[D].Dalian:Dalian Ocean University,2024.(in Chinese)

[39] 郭建军,孔壹右,刘双印,等.数字化无人生猪养殖系统建设及应用[J].华中农业大学学报,2024,43(5):288-296.GUO J J,KONG Y Y,LIU S Y,et al.Construction and application of digital unmanned system in pig farming[J].Journal of Huazhong Agricultural University,2024,43 (5):288-296.(in Chinese)

[40] 左军辉.基于视频图像的运动目标检测算法研究[D].乌鲁木齐:新疆大学,2020.ZUO J H.Research on moving object detection algorithm based on video image[D].Urumqi:Xinjiang University,2020.(in Chinese)

[41] 丁业兵.运动目标检测算法综述[J].科技资讯,2019,17(30):21-23.DING Y B.Survey of moving object detection algorithms[J].Science &Technology Information,2019,17(30):21-23.(in Chinese)

[42] 周建锋,苏小红,马培军.一种解决波动式干扰影响的序列图像运动目标检测方法[J].电子与信息学报,2010,32(2):388-393.ZHOU J F,SU X H,MA P J.A moving targets detection approach to remove the fluctuant interference in video sequences[J].Journal of Electronics &Information Technology,2010,32(2):388-393.(in Chinese)

[43] 王怡然.基于高斯背景模型的运动目标检测与跟踪[D].西安:西安电子科技大学,2012.WANG Y R.Moving target detection and tracking based on Gaussian background model[D].Xi’an:Xidian University,2012.(in Chinese)

[44] 张应辉,刘养硕.基于帧差法和背景差法的运动目标检测[J].计算机技术与发展,2017,27(2):25-28.ZHANG Y H,LIU Y S.Moving object detection based on method of frame difference and background subtraction[J].Computer Technology and Development,2017,27(2):25-28.(in Chinese)

[45] 王文金.全方位视频展开和运动目标检测与跟踪方法的研究与实现[D].杭州:浙江工业大学,2013.WANG W J.Research and implementation of omni-directional video expansion and moving target detection and tracking method[D].Hangzhou:Zhejiang University of Technology,2013.(in Chinese)

[46] LEONARD CARMICHAEL,HOUGHTON MIFFLIN.The perception of the visual world[J].Science,1950,113(2940):535.

[47] 宋海礁.复杂情况下的运动目标检测[D].长春:吉林大学,2012.SONG H J.Moving target detection in complex situations[D].Changchun:Jilin University,2012.(in Chinese)

[48] 张娟,毛晓波,陈铁军.运动目标跟踪算法研究综述[J].计算机应用研究,2009,26(12):4407-4410.ZHANG J,MAO X B,CHEN T J.Survey of moving object tracking algorithm[J].Application Research of Computers,2009,26(12):4407-4410.(in Chinese)

[49] 郭向威.基于改进光流法的运动目标检测与跟踪研究[D].南宁:广西大学,2018.GUO X W.Research on moving target detection and tracking based on improved optical flow method[D].Nanning:Guangxi University,2018.(in Chinese)

[50] 欧阳玉梅.基于稀疏光流算法的运动目标检测研究[J].科技视界,2020(8):153-154.OUYANG Y M.Research on moving object detection based on sparse optical flow algorithm[J].Science &Technology Vision,2020(8):153-154.(in Chinese)

[51] 龚景超.基于数字图像处理技术的驾驶员疲劳检测的研究与实现[D].沈阳:东北大学,2013.GONG J C.Research and implementation of driver fatigue detection based on digital image processing technology[D].Shenyang:Northeastern University,2013.(in Chinese)

[52] 刘洋.运动视觉中目标的精确提取与跟踪技术[D].西安:西安电子科技大学,2007.LIU Y.Accurate target extraction and tracking technology in motion vision[D].Xi’an:Xidian University,2007.(in Chinese)

[53] 张雷雨,邵永社,杨毅,等.基于改进的Mean Shift方法的高分辨率遥感影像道路提取[J].遥感信息,2010,25(4):3-7.ZHANG L Y,SHAO Y S,YANG Y,et al.Road extraction from high resolution remote sensing images based on the improved mean shift algorithm method[J].Remote Sensing Information,2010,25(4):3-7.(in Chinese)

[54] 单明媚,王华通,郑浩岚,等.视频运动目标跟踪算法研究综述[J].物联网技术,2019,9(7):76-78,82.SHAN M M,WANG H T,ZHENG H L,et al.A survey of video moving object tracking algorithms[J].Internet of Things Technologies,2019,9(7):76-78,82.(in Chinese)

[55] 巫春玲,赵玉冰,马耀,等.采用改进最大相关熵自适应迭代容积卡尔曼滤波算法的锂离子电池荷电状态估计[J].西安交通大学学报,2024,58(11):52-64.WU C L,ZHAO Y B,MA Y,et al.Estimation of lithium-ion battery state of charge using an innovation maximum correlation-entropy criterion adaptive iterative cubature Kalman filter algorithm[J].Journal of Xi’an Jiaotong University,2024,58(11):52-64.(in Chinese)

[56] 谢嘉,皇小虎,李永国,等.基于故障估计的农机路径跟踪容错控制方法研究[J/OL].南京农业大学学报,1-15[2025-04-20].http://kns.cnki.net/kcms/detail/32.1148.s.20240612.1651.002.html.XIE J,HUANG X H,LI Y G,et al.Research on fault-tolerant control method for agricultural machinery path tracking based on fault estimation[J/OL].Journal of Nanjing Agricultural University,1-15[2025-04-20].http://kns.cnki.net/kcms/detail/32.1148.s.20240612.1651.002.html.(in Chinese)

[57] 苏越.基于卡尔曼滤波的货车状态信息估计研究综述[J].中国物流与采购,2023(19):55-56.SU Y.A review of research on estimation of freight car state information based on Kalman filter[J].China Logistics &Purchasing,2023(19):55-56.(in Chinese)

[58] 张荣成.基于滤波与人脸检测识别的人脸跟踪算法[D].哈尔滨:哈尔滨工业大学,2019.ZHANG R C.Face tracking algorithm based on filtering and face detection and recognition[D].Harbin:Harbin Institute of Technology,2019.(in Chinese)

[59] 苏天水,王义军.海上石油生产平台巡检机器人定位方法综述[J].工业控制计算机,2018,31(6):10-12,15.SU T S,WANG Y J.Overview of positioning methods of inspection robot for offshore oil production platform[J].Industrial Control Computer,2018,31(6):10-12,15.(in Chinese)

[60] 孙海波,童紫原,唐守锋,等.基于卡尔曼滤波与粒子滤波的SLAM研究综述[J].软件导刊,2018,17(12):1-3,7.SUN H B,TONG Z Y,TANG S F,et al.SLAM research based on Kalman filter and particle filter[J].Software Guide,2018,17(12):1-3,7.(in Chinese)

[61] 张国荣,王志亮,赵振栋,等.移动机器人同时定位与建图研究综述[J].软件导刊,2019,18(10):5-7,22.ZHANG G R,WANG Z L,ZHAO Z D,et al.Research and prospect of mobile robot simultaneous location and mapping[J].Software Guide,2019,18(10):5-7,22.(in Chinese)

[62] 苏高龙,王源硕,黄辉宇,等.基于LBPH算法和卡尔曼滤波的无人机人脸识别跟踪系统[J].微纳电子与智能制造,2022,4(2):99-104.SU G L,WANG Y S,HUANG H Y,et al.Unmanned aerial vehicle face recognition and tracking system based on LBPH algorithm and Kalman filter[J].Micro/Nano Electronics and Intelligent Manufacturing,2022,4(2):99-104.(in Chinese)

[63] 潘萍.融合视觉图像处理的目标识别技术在移动机器人中的应用[J].兵器装备工程学报,2024,45(3):314-322.PAN P.Application of target recognition technology based on visual image processing in mobile robot[J].Journal of Ordnance Equipment Engineering,2024,45(3):314-322.(in Chinese)

[64] WANG L.Face recognition technology based on kalman filter[C] //2019 9th International Conference on Management and Computer Science (ICMCS).2019:11-18.

[65] 裘加妤.基于视频信息的运动目标分析研究综述[J].计算机光盘软件与应用,2012,15(24):36-38.QIU J Y.Review of research on moving object analysis based on video information[J].Computer CD Software and Applications,2012,15(24):36-38.(in Chinese)

[66] 霍玲玲,杨莹.运动目标跟踪算法综述[J].电子技术与软件工程,2016(24):162.HUO L L,YANG Y.Overview of moving object tracking algorithms[J].Electronic Technology &Software Engineering,2016(24):162.(in Chinese)

[67] 张慧.鱼类群体行为特性分析及应激仿真技术研究[D].舟山:浙江海洋大学,2017.ZHANG H.Analysis of fish group behavior characteristics and research on stress simulation technology[D].Zhoushan:Zhejiang Ocean University,2017.(in Chinese)

[68] 胡瑞南.基于仿生机器鱼的水下图像增强式视觉三维重建方法研究[D].武汉:武汉理工大学,2022.HU R N.Research on underwater image enhanced visual three-dimensional reconstruction method based on bionic robot fish[D].Wuhan:Wuhan University of Technology,2022.(in Chinese)

[69] FISH F E,FEGELY J F,XANTHOPOULOS C J.Burst-and-coast swimming in schooling fish (Notemigonus crysoleucas) with implications for energy economy[J].Comparative Biochemistry and Physiology Part A:Physiology,1991,100(3):633-637.

[70] 邓见,金楠,周意琦,等.仿飞鱼跨介质无人平台的探索研究[J].水动力学研究与进展(A辑),2020,35(1):55-60.DENG J,JIN N,ZHOU Y Q,et al.Preliminary study on aerial-aquatic unmanned vehicle mimicking flying fish[J].Chinese Journal of Hydrodynamics,2020,35(1):55-60.(in Chinese)

[71] 贾贝贝,邵振洲,王瑞,等.基于机器视觉的鱼类行为特征提取与分析[J].生态毒理学报,2017,12(5):193-203.JIA B B,SHAO Z Z,WANG R,et al.Extraction and analysis of fish behavior based on machine vision[J].Asian Journal of Ecotoxicology,2017,12(5):193-203.(in Chinese)

[72] 何志鹏,巩高瑞,熊阳,等.基于计算机视觉的黄颡鱼表型特征测量和体重预测模型研究[J].水生生物学报,2024,48(7):1149-1158.HE Z P,GONG G R,XIONG Y,et al.A phenotypic measurement and weight prediction model of Pelteobagrus fulvidraco based on computer vision[J].Acta Hydrobiologica Sinica,2024,48(7):1149-1158.(in Chinese)

[73] 彭瀚旻.IPMC人工肌肉机电性能建模及其在作动器上的应用[D].南京:南京航空航天大学,2010.PENG H M.Electromechanical performance modeling of IPMC artificial muscle and its application in actuator[D].Nanjing:Nanjing University of Aeronautics and Astronautics,2010.(in Chinese)

[74] 花炜,余成,段高旗,等.水下光补偿设备对苦草生长生理影响研究[J].环境科学学报,2024,44(3):450-458.HUA W,YU C,DUAN G Q,et al.Study on the effects of underwater light compensation device on the growth and physiology of Vallisneria natans[J].Acta Scientiae Circumstantiae,2024,44(3):450-458.(in Chinese)

[75] 王嘉,关夏威,付少波,等.基于先验信息的光照鲁棒性水下视觉定位方法[J].舰船科学技术,2024,46(10):98-101.WANG J,GUAN X W,FU S B,et al.A robust underwater visual positioning method for brightness based on prior information[J].Ship Science and Technology,2024,46(10):98-101.(in Chinese)

[76] 李广豪,席志红.基于图像融合的水下光照不均匀图像增强算法[J].计算机仿真,2023,40(4):330-335.LI G H,XI Z H.Image enhancement algorithm of underwater uneven illumination based on image fusion[J].Computer Simulation,2023,40(4):330-335.(in Chinese)

[77] 王丹,张子玉,赵金宝,等.基于场景深度估计的自然光照水下图像增强方法[J].机器人,2021,43(3):364-372.WANG D,ZHANG Z Y,ZHAO J B,et al.An enhancement method for underwater images under natural illumination based on scene depth estimation[J].Robot,2021,43(3):364-372.(in Chinese)

[78] 丁雪妍.基于物理模型与深度学习的水下光学图像增强方法研究[D].大连:大连海事大学,2022.DING X Y.Research on underwater optical image enhancement method based on physical model and deep learning[D].Dalian:Dalian Maritime University,2022.(in Chinese)

[79] 李楠.基于变分方法的水下图像清晰化研究[D].青岛:青岛大学,2023.LI N.Research on underwater image clarity based on variational method[D].Qingdao:Qingdao University,2023.(in Chinese)

Application of computer vision to recognize fish behavior

GUO Jianjun1,CHEN Jiexin2,LIN Lijun1,KONG Yiyou2,YE Junwei2,XU Xin2*

(1.College of Information Science and Technology,Zhongkai University of Agriculture and Engineering,Guangzhou 510225,China;2.College of Automation,Zhongkai University of Agriculture and Engineering,Guangzhou 510225,China)

AbstractUnderstanding fish behavior is beneficial to both aquaculture management and farmers.In recent years,the application of computer vision has developed rapidly in the field of fish recognition,and it provides a non-contact machine detection method for recognizing fish behavior.This technology integrates advanced technologies in many fields,such as image processing and machine learning.Through frame analysis and processing of captured fish behavior videos,key frame image information is extracted to realize automatic recognition and quantitative analysis of fish behavior patterns.Results of this study can provide guidance and inspiration for future research and promote the further application and development of computer vision technology in fish behavior research.

Key wordscomputer vision; behavior recognition; aquaculture; fish behavior

中图分类号TP 391.4

文献标志码A

DOI10.16535/j.cnki.dlhyxb.2024-210

文章编号2095-1388(2025)02-0351-12

收稿日期2024-09-27

基金项目广东省农村科技特派员项目(KTP20240590,KTP20240597);广东省研究生教育创新计划项目(2024ANLK_049);广东省普通高校特色创新类项目(2023KTSCX048);广州市科技计划项目(2024E04J0106);云浮市2023省科技创新战略和乡村振兴战略专项(2023020101);2022年校级研究生教育创新计划项目(KA220160255);“双百工程”校地合作共建项目(KA24YY08304);校级“十四五”规划教材建设项目(KA24YY04803)

作者简介郭建军(1982—),男,博士,副教授。E-mail:guojianjun@zhku.edu.cn

通信作者许昕(1998—),女,讲师。E-mail:xuxinzdh@zhku.edu.cn