基于时空流特征融合的俯视视角下奶牛跛行自动检测方法 后印本

摘要: ［目的/意义］奶牛跛行检测是规模化奶牛养殖过程中亟待解决的重要问题，现有方法的检测视角主要以 侧视为主。然而，侧视视角存在着难以消除的遮挡问题。本研究主要解决侧视视角下存在的遮挡问题。［方法］提 出一种基于时空流特征融合的俯视视角下奶牛跛行检测方法。首先，通过分析深度视频流中跛行奶牛在运动过程 中的位姿变化，构建空间流特征图像序列。通过分析跛行奶牛行走时躯体前进和左右摇摆的瞬时速度，利用光流 捕获奶牛运动的瞬时速度，构建时间流特征图像序列。将空间流与时间流特征图像组合构建时空流融合特征图像 序列。其次，利用卷积块注意力模块（Convolutional Block Attention Module, CBAM） 改进PP-TSMv2 （PaddlePad⁃ dle-Temporal Shift Module v2） 视频动作分类网络，构建奶牛跛行检测模型Cow-TSM（Cow-Temporal Shift Module）。 最后，分别在不同输入模态、不同注意力机制、不同视频动作分类网络和现有方法4个方面对比，进行奶牛跛行 实验，以探究所提出方法的优劣性。［结果和讨论］共采集处理了180段奶牛图像序列数据，跛行奶牛与非跛行奶 牛视频段数比例为1∶1，所提出模型识别精度达到88.7%，模型大小为22 M，离线推理时间为0.046 s。与主流视 频动作分类模型TSM、PP-TSM、PP-TSMv2、SlowFast和TimesFormer模型相比，综合表现最好。同时，以时空流 融合特征图像作为输入时，识别精度分别比单时间模态与单空间模态分别提升12%与4.1%，证明本研究中模态融 合的有效性。通过与通道注意力（Squeeze-and-Excitation, SE）、卷积核注意力（Selective Kernel, SK）、坐标注意力 （Coordinate Attention, CA） 与CBAM不同注意力机制进行消融实验，证明利用CBAM注意力机制构建奶牛跛行检测 模型效果最佳。最后，与现有跛行检测方法进行对比，所提出的方法同时具有较好的性能和实用性。［结论］本研 究能够避免侧视视角下检测跛行奶牛时出现的遮挡问题，对于减少奶牛跛行发生率、提高牧场经济效益具有重要 意义，符合牧场规模化建设的需求。