应用案例

基于多视角几何图形编码器的三维点云黄瓜幼苗分割网络


发布时间:

2024-10-26

来源:

作者:

植物表型在观察和理解植物生长发育过程中起着至关重要的作用。在表型分析中,基于三维点云的植物器官分割近年来受到越来越多的关注。然而,仅利用欧几里得空间的几何关系特征仍然不能准确地分割和测量植物。为此,本文挖掘了更多的几何特征,并提出了一种基于多视图几何图编码器的分割网络,称为SN-MGGE。首先,构建点云采集平台获取黄瓜苗木点云数据集,并利用CloudCompare软件对点云数据进行标注。然后设计GGE模块,通过欧几里得空间和双曲空间的图形编码器生成点特征,包括几何关系和几何形状结构。最后,通过降采样操作和多层感知器得到语义分割结果。在黄瓜幼苗数据集上的大量实验清楚地表明,本文提出的SN-MGGE网络优于几种主流分割网络(如PointNet++, AGConv和PointMLP), mIoU和OA值分别达到94.90%和97.43%。在分割结果的基础上,通过k均值聚类方法提取4个表型参数(株高、叶长、叶宽、叶面积);这些参数非常接近真实值,其值分别达到0.98、0.96、0.97、0.97。此外,消融研究和推广实验也表明SN-MGGE网络具有鲁棒性和广泛性。

 

图1  本文提出的方法概述。(a)俯视图。(b)侧视图。(c)俯视图。(d)侧视图。(e)株高。(f)计算叶长、叶宽和叶面积。

 

图2  黄瓜种植温室及数据采集平台。

 

图3  重建黄瓜苗点云样本图像。

 

图4  SN-MGGE分割体系结构。给定输入点云,GGE模块逐步提取欧几里得空间和双曲空间的局部几何特征以及几何结构特征。通过对多个GGE-P模块进行叠加,逐步减少点的个数,形成层次结构,从而获得不同粒度的特征。通过插值和重复得到确定的点特征,然后将其输入MLP层生成分割结果。

 

图5  提取表型参数,包括株高、叶长、叶宽和叶面积。

 

图6 SN-MGGE网络、DGCNN、PointNet和真实值(左)在四种不同黄瓜幼苗上的语义分割结果;一些植物区域被放大以提供更多细节。

 

图7  三种聚类方法对SN-MGGE网络单株植物的分割结果。

 

图8  提取值与实测值的表型参数比较。(a)叶长,(b)叶宽,(c)株高,(d)叶面积。

 

图9  具有不同去除比和噪声数的植物点云的可视化。

 

图10  (a)不同去除率下的整体精度。(b)不同噪音量下的整体准确度。

 

图11  三种植物的定性实例分割比较。(a)烟草植物,(b)番茄植物和(c)高粱植物。将SN-MGGE生成的每个分段植物点云与其对应的地面真值进行比较。放大的细节在线框内。

 

来 源

Yonglong Zhang, Yaling Xie1, Jialuo Zhou, Xiangying Xu, and Minmin Miao (2024). Cucumber seedling segmentation network based on a multiview geometric graph encoder from 3D point clouds. Plant Phenomics.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话江南平台app体育总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。