基于MLG-YOLO模型的冬枣检测和定位方法研究
Plant Phenomics | 浙江农林大学胡耀华教授团队基于MLG-YOLO的冬枣检测和定位方法
开发冬枣采摘机器人对于实现冬枣机械化采收至关重要，而机器人采摘冬枣的过程也面临着诸多挑战，如冬枣常成簇生长，数量众多；冬枣体积较小，且经常被枝干和叶片遮挡，这些因素都会影响机器人对冬枣的识别精度。因此，准确地检测和定位冬枣是实现机器人采摘的一项关键技术。
2024年9月，Plant Phenomics在线发表了浙江农林大学单位等合作发表的题为MLG-YOLO: A Model for Real-Time Accurate Detection and Localization of Winter Jujube in Complex Structured Orchard Environments的研究论文。
本研究提出了一种基于MLG-YOLO模型的冬枣检测与定位方法。首先，构建了一个涵盖不同光照条件和叶片遮挡场景的冬枣数据集来训练模型。随后，以YOLOv8n为基线模型，进行了以下主要改进：使用MobileVit重构主干网络以降低模型重量。在颈部中引入LSKblock以获取更广泛的上下文信息，采用轻量级卷积技术GSConv以提高检测精度。最后，提出了一种结合MLG-YOLO和RGB-D相机的冬枣三维定位方法。通过消融实验，对比实验以及三维定位误差实验，验证了MLG-YOLO模型在冬枣检测和定位方面的性能。实验结果表明，与基线模型YOLOv8n相比，MLG-YOLO的均值平均精度提高了3.50%，参数量减少了61.03%。与Faster RCNN，SSD，RT-DETR-L和YOLOv7-tiny等主流目标检测模型相比，MLG-YOLO在检测精度和模型尺寸方面均表现最佳，其精确率为86.80%，召回率为84.50%，均值平均精度为92.70%，模型大小仅为2.52 MB，在保持高检测精度的同时实现了模型的轻量化。这一方法能够实现冬枣的精确检测与定位，为冬枣采摘机器人提供技术支持。
本文创新点如下：
(1) 提出了轻量化的冬枣目标检测模型MLG-YOLO，使用MobileVit重构YOLOv8n的主干网络，降低了计算的复杂度，使模型更加轻量化。
(2) 在YOLOv8n的颈部中引入LSKblock和GSConv模块。其中，LSKblock通过其空间选择机制和大核心的动态调整，可以有效的处理目标检测中不同空间位置的上下文。GSConv模块通过混合操作以简化特征融合。通过两种模块的结合，以提高模型对冬枣小目标的检测精度。
(3) 提出一种结合MLG-YOLO与RGB-D相机的冬枣三维定位方法，并设计实验对定位误差进行评估。结果表明，该方法能满足机器人采摘系统准确检测与定位冬枣的要求。
图1 MLG-YOLO模型架构
图2 机器人采摘系统检测与定位冬枣流程
该研究由浙江农林大学、西北农林科技大学、日本筑波大学、荷兰格罗宁根大学合作完成。浙江农林大学俞晨浩为该论文第一作者，胡耀华教授为该论文通讯作者。浙江农林大学硕士生施潇逸、罗文凯、冯俊哲，西北农林科技大学在读博士郑洲洲，日本筑波大学Ayanori Yorozu博士，荷兰格罗宁根大学郭佳盼博士参与了研究工作。研究得到浙江农林大学人才启动项目、国家自然科学基金面上项目和国家留学基金委项目的资助。
论文链接：
https://doi.org/10.34133/plantphenomics.0258
——推荐阅读——
SCAG: A stratified, clustered, and growing-based algorithm for soybean branch angle extraction and ideal plant architecture evaluation
https://doi.org/10.34133/plantphenomics.0190
Plant Phenomics | 南京农业大学基于点云的大豆分枝夹角提取算法开发与耐密植株型新性状发掘
A multi-target regression method to predict element concentrations in tomato leaves using hyperspectral imaging
https://doi.org/10.34133/plantphenomics.0146
Plant Phenomics | 东京大学利用高光谱图像预测番茄叶片中元素含量的多目标回归方法
加入作者交流群
扫码添加小编微信，拉您进入《植物表型组学》作者交流群，群内不定期开展作者分享会、专刊发布会等高质量活动。
添加小编微信，备注姓名+单位+PP，加入作者交流群
《植物表型组学》（Plant Phenomics）是由南京农业大学创办的英文学术期刊，于2019年1月正式上线发行。采用开放获取形式，刊载植物表型组学交叉学科热点领域具有突破性科研进展的原创性研究论文、综述、数据集和观点。具体范围涵盖高通量表型分析的最新技术，基于图像分析和机器学习的表型分析研究，提取表型信息的新算法，作物栽培、植物育种和农业实践中的表型组学新应用，与植物表型相结合的分子生物学、植物生理学、统计学、作物模型和其他组学研究，表型组学相关的植物生物学等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等数据库收录。科睿唯安JCR2022影响因子为7.6，位于农艺学一区（1/125名），植物科学一区（13/265名），遥感一区（6/62名）。2023年中科院期刊分区位于农林科学大类一区。2020年入选中国科技期刊卓越行动计划高起点新刊项目、2024年入选江苏科技期刊卓越行动计划领军期刊项目。
说明：本文由《植物表型组学》编辑部负责组稿。
中文内容仅供参考，一切内容以英文原版为准。
特邀作者：俞晨浩
编辑排版：王平、张婕（上海交通大学）
审核：尹欢、孔敏
