基于多视角几何图形编码器的三维点云黄瓜幼苗分割网络
发布时间:
2024-10-26
来源:
作者:
植物表型在观察和理解植物生长发育过程中起着至关重要的作用。在表型分析中,基于三维点云的植物器官分割近年来受到越来越多的关注。然而,仅利用欧几里得空间的几何关系特征仍然不能准确地分割和测量植物。为此,本文挖掘了更多的几何特征,并提出了一种基于多视图几何图编码器的分割网络,称为SN-MGGE。首先,构建点云采集平台获取黄瓜苗木点云数据集,并利用CloudCompare软件对点云数据进行标注。然后设计GGE模块,通过欧几里得空间和双曲空间的图形编码器生成点特征,包括几何关系和几何形状结构。最后,通过降采样操作和多层感知器得到语义分割结果。在黄瓜幼苗数据集上的大量实验清楚地表明,本文提出的SN-MGGE网络优于几种主流分割网络(如PointNet++, AGConv和PointMLP), mIoU和OA值分别达到94.90%和97.43%。在分割结果的基础上,通过k均值聚类方法提取4个表型参数(株高、叶长、叶宽、叶面积);这些参数非常接近真实值,其值分别达到0.98、0.96、0.97、0.97。此外,消融研究和推广实验也表明SN-MGGE网络具有鲁棒性和广泛性。
图1 本文提出的方法概述。(a)俯视图。(b)侧视图。(c)俯视图。(d)侧视图。(e)株高。(f)计算叶长、叶宽和叶面积。
图2 黄瓜种植温室及数据采集平台。
图3 重建黄瓜苗点云样本图像。
图4 SN-MGGE分割体系结构。给定输入点云,GGE模块逐步提取欧几里得空间和双曲空间的局部几何特征以及几何结构特征。通过对多个GGE-P模块进行叠加,逐步减少点的个数,形成层次结构,从而获得不同粒度的特征。通过插值和重复得到确定的点特征,然后将其输入MLP层生成分割结果。
图5 提取表型参数,包括株高、叶长、叶宽和叶面积。
图6 SN-MGGE网络、DGCNN、PointNet和真实值(左)在四种不同黄瓜幼苗上的语义分割结果;一些植物区域被放大以提供更多细节。
图7 三种聚类方法对SN-MGGE网络单株植物的分割结果。
图8 提取值与实测值的表型参数比较。(a)叶长,(b)叶宽,(c)株高,(d)叶面积。
图9 具有不同去除比和噪声数的植物点云的可视化。
图10 (a)不同去除率下的整体精度。(b)不同噪音量下的整体准确度。
图11 三种植物的定性实例分割比较。(a)烟草植物,(b)番茄植物和(c)高粱植物。将SN-MGGE生成的每个分段植物点云与其对应的地面真值进行比较。放大的细节在线框内。
Yonglong Zhang, Yaling Xie1, Jialuo Zhou, Xiangying Xu, and Minmin Miao (2024). Cucumber seedling segmentation network based on a multiview geometric graph encoder from 3D point clouds. Plant Phenomics.
编辑
王春颖
推荐新闻
视频展示