基于图像与深度信息融合的西梅果实识别定位方法

熊明明1，李晓娟1，2

（1.新疆大学机械工程学院，乌鲁木齐市，830017；2.新疆工业经济和信息化研究院，乌鲁木齐市，830091）

摘要：为实现西梅采摘机器人在复杂自然生长环境下对西梅果实的快速、准确识别定位，提出一种基于图像与深度信息融合的西梅果实识别定位方法。首先采集西梅图像，并通过数据增强建立阴天、沙尘等环境和不同角度下的西梅图像数据集，然后利用彩色图像基于YOLOv7网络模型快速识别西梅果实，获取果实表面中心点，再通过匹配融合彩色图和深度信息，采用深度距离分割剔除背景干扰噪声，实现西梅果实表面中心点的三维空间定位。试验结果表明，西梅果实识别模型可在多种果实生长分布场景下实现西梅果实的识别，其识别F1值最高为95.8%，最低为83.2%；融合图像与深度信息的定位方法具有良好的定位效果，当深度距离小于1m时，算法在各轴向上的定位误差均在0.005m内；当深度距离为1.5m时，误差最高为0.013m，可满足西梅果实的识别定位要求。