基于深度学习的观光农业中的桃子采摘识别

杨义1 吴怡婧1 蒋学芹1 张洁1 万雪芬2,3

1.东华大学信息科学与技术学院 2.华北科技学院计算机科学与工程学院 3.河北省物联网监控工程技术研究中心

摘要： 针对桃子采摘园智慧化管理的需求，提出一种基于深度学习的采摘识别方法。利用机器视觉与深度学习技术，在轻量级人体姿态估计算法Lightweight OpenPose、目标检测算法YOLOv5s、目标跟踪算法DeepSORT的基础上，提出桃子采摘行为检测方法。该方法按照功能顺序可分为基于人体关节角度的采摘姿态判定方法、基于最近邻检索的采摘目标确定方法及其优化、基于设定状态标志的采摘目标检测失效解决方法3个功能步骤。基于实际桃子采摘视频数据建立数据集，进行相关性能测试。将基于人体关节角度方法与传统采用人体关节点外接矩形框的方法进行对比，本方法对采摘举手动作的判定查准率P提高16%。针对采摘目标判定问题，基于最近邻检索的方法相比于传统的基于距离与参照物尺寸对比的方法、基于交并比IoU与阈值对比的方法，查准率P至少提高11%。基于设定状态标志的采摘目标检测失效方法，较好地解决手部遮挡对检测结果的影响，查准率P提高39%。在此基础上，设计试验系统，在真实情境下对本方法进行测试。结果表明，提出的桃子采摘识别方法能够在采摘桃园实际环境下完成对采摘动作的有效准确识别。

关键词： 智慧农业;观光农业;桃子;采摘识别;深度学习;人体姿态

基金资助： 国家自然科学基金(12272092)； 河北省物联网监控工程技术研究中心项目(3142018055,3142016020)； 廊坊市科学技术研究与发展计划资助项目(2021011035)； 秦皇岛市科学技术研究与发展计划项目(201805A016)； 东华大学2025年本科实践教学改革与建设项目

文章来源：《中国农机化学报》