基于三维点云数据的大豆冠层胁迫分类


发布时间:

2024-06-26

来源:

作者:

农田作物的冠层应力自动分类传统上依赖于单视角二维(two-dimensional,2D)照片,通常通过使用无人机(unmanned aerial vehicles,UAVs)的俯视图成像获得。然而,这种方法可能无法捕捉到植物胁迫症状的全部范围,这些症状可以在整个冠层中表现出来。激光雷达技术的最新进展使获取整个树冠的高分辨率3D点云数据成为可能,为更准确的植物胁迫识别和评级提供了新的可能性。本研究探讨了利用3D点云数据改进植物胁迫评估的潜力。利用了700株大豆植物的RGB 3D点云数据集,这些植物来自于一个暴露于缺铁性黄绿病(iron deficiency chlorosis,IDC)胁迫下的多样性研究。从这700个不同程度IDC的树冠中,提取了几种表征,包括(a)手工制作的IDC症状特异性特征,(b)树冠指纹,以及(c)基于潜在特征的特征。随后,训练了几个分类模型来使用这些表征来预测植物的胁迫严重程度。详尽地研究了三维数据的几种胁迫表示和模型组合。还将这些分类模型的性能与仅使用每个植物的相关俯视图2D RGB图像进行训练的类似模型进行了比较。在测试的特征模型组合中,使用支持向量机训练的3D树冠指纹特征表现最佳,其分类精度高于使用卷积神经网络构建的基于2D数据的最佳模型。研究结果证明了彩色冠层指纹识别的实用性,并强调了在农业应用中考虑3D数据来评估植物胁迫的重要性。

 

图1  (A)扫描和地块提取过程:该图显示了带有扫描位置的地块图像,覆盖了五个不同的位置,包括地块的四面和靠近中心的位置。在捕获点云数据后,使用Faro SCENE 2021®软件对其进行清洗、处理和注册。随后,利用内部Python脚本从注册的点云数据中提取单个地块并移除地面。(B)评级:移除地面部分后,使用CloudCompare 2.11.3®对所有地块进行可视化,并由专家对每个地块的IDC胁迫进行1至5级的评估。(C)可视化:每个IDC应力等级的代表性树冠。

 

图2  一组图片展示了数据管理过程中不同阶段的3D点云:(A)原始注册的RGB点云。(B)裁剪后的点云聚焦于场地。(C)在三个不同时间点拍摄的除去地面的所有样地点云;请注意,由于阴天条件、不完整或噪声,一些地块被排除在外。(D)样本三维点云及其对应的二维俯视图投影。

 

图3  特征生成与分类:图提取完成后,进行特征生成与分类。为了展示数据集中树冠颜色和大小的多样性,增加了四个提取地块的点密度。对于每个图,从三维点云中提取手工制作的颜色和树冠指纹特征。从2D俯视图投影图像中提取手工制作的颜色特征,并使用神经网络生成潜在特征。这些特征与IDC评级相结合,用于训练各种分类算法,包括支持向量机(SVM)、k近邻(KNN)、随机森林(RF)和卷积神经网络(CNN),以预测IDC类别标签。

 

图4  从2D图像生成手工特征的概述。使用类似的工作流从3D点云手工特征生成。

 

图5  比较(A) 2D和(B) 3D手工制作特征:分级特定分布。图上的每个点都代表了IDC胁迫下大豆树冠的手工颜色特征。请注意,与2D功能相比,3D手工制作的功能具有更好的类分离。

 

图6 比较不同模型在二维数据上的分类精度:评估的模型包括二维手工颜色特征和二维CNN潜在特征。x轴表示各种模型(DT、KNN、RF、SVM和CNN),柱状图表示每个模型达到的5倍精度。

 

图7  比较不同模型在3D数据上的分类精度:评估的模型包括3D手工颜色特征和3D指纹。x轴表示各种模型(DT、KNN、RF和SVM),条形图表示每个模型实现的5倍精度。

 

图8  比较不同模型在2D和3D数据上的错误分类成本:评估的模型包括2D不平衡特征、2D手工颜色特征、2D CNN、3D手工颜色特征和3D指纹。x轴表示各种模型(DT、KNN、RF、SVM和CNN),柱状图表示每个模型产生的误分类代价。

 

图9 比较使用2D和3D特征的前两个执行模型的混淆矩阵。

 

来 源

Young, T.J.; Chiranjeevi, S.; Elango, D.; Sarkar, S.; Singh, A.K.; Singh, A.; Ganapathysubramanian, B.; Jubery, T.Z. Soybean Canopy Stress Classification Using 3D Point Cloud Data. Agronomy 2024, 14, 1181.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话江南平台app体育总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。