小麦（Triticum aestivum）是全球最重要的粮食作物之一。为了确保其全球供应，需要在田间密切监测其生长周期的时间和持续性，以便及时安排必要的作物管理活动。此外，育种者和植物研究人员需要在不同地点和多个季节对成千上万的基因型进行地块级的生长阶段（GS）评估。这表明提供一个可靠且可扩展的工具包以应对这一挑战的重要性，从而能够成功地为植物研究的不同目标进行地块级的GS评估。在本研究中，我们提出了一种名为GSP-AI的多模态深度学习模型，能够基于无人机采集的冠层图像和多季节气候数据集识别小麦的关键生长阶段并预测从营养生长到生殖生长的转变（即开花天数）。我们首先建立了一个开放的小麦生长阶段预测（WGSP）数据集，包含70,410幅从中国种植的54个品种、英国的109个品种和美国的100个品种收集的标注图像，以及关键气候因素。然后，我们基于Res2Net和长短期记忆（LSTM）构建了一个有效的学习架构，以学习2018年至2021年生长季节的冠层视觉特征和气候变化模式。利用该模型，我们在识别关键GS时达到了91.2%的整体准确率，预测开花天数的平均均方根误差（RMSE）为5.6天。我们进一步使用在2021/2022季节从中国收集的高分辨率智能手机图像对GSP-AI模型进行了测试和改进，从而将模型的准确率提升至93.4%（对于GS），并将开花预测的RMSE降低至4.7天。因此，我们相信我们的工作为育种者和种植者提供了有关关键植物生长和发育阶段时间和持续性的重要信息，帮助他们在复杂的田间条件下进行更有效的作物选择和农业决策，以促进小麦的改良。

图1 2018至2021年间在中国、英国和美国对263个小麦品种进行无人机表型研究，随后从分蘖期到成熟期采集冠层图像和关键气象数据。(a) 2018至2021年间使用三种类型的无人机对在中国（54个品种）、英国（109个品种）和美国（100个品种）种植的263个小麦品种进行无人机航空成像。(b) 通过类似的飞行控制软件和数据预处理方法实现的三边航空表型标准化。(c) 生成覆盖六个小麦关键生长阶段（从分蘖期、拔节期、孕穗期和抽穗期、开花期、灌浆期到成熟期）的地块级二维正射影像。(d&e) 使用AirMeasurer平台完成地块分割，对三个国家中每个地块的中心区域（约1平方米/地块）进行采样。(f) 2020/2021生长季对一个名为杨麦158的品种手动记录关键生长阶段。使用播种后天数（DAS）作为时间单位。提供了基于地块的航空俯视图像作为参考。图像中标记的全球导航卫星系统（GNSS）信息与从气象站和国际气象网站（www.visualcrossing.com）获取的关键气候数据（如太阳辐射、降雨量、日均气温和累计生长温度）相关联。

图2 用于预测小麦关键生长阶段和开花天数的生长阶段预测（GSP）AI模型（GSP-AI）的学习架构。(a)使用Res2Net骨干架构从小麦冠层图像中学习基于视觉的特征。(b) 建立了基于循环神经网络（RNN）的LSTM网络来建模气候变化。(c) ResNet中的残差块被Res2Net模块替换，并使用定制的Res2Net-19提取多尺度特征。(d) 应用了多层感知机（MLP）将这两个网络的双模态特征结合起来。

图3 使用无人机采集的冠层图像建立的开放小麦生长阶段预测（WGSP）数据集，用于训练、测试和验证GSP-AI模型。(a) 使用无人机从三边田间试验中收集的原始图像生成的二维正射影像。(b) 在六个关键生长阶段收集的地块级冠层图像示例，展示了每个国家初始和增强后的图像数量。(c) 不同图像增强方法的示例。(d) 饼图展示了内圈为初始图像数量，外圈为增强后图像数量，显示了WGSP数据集中每个生长阶段的图像分布。

图4用于可视化六个生长阶段的视觉特征或模式的全球特征图，以及在结合关键气候因素后提升的预测准确性。(a) 使用GSP-AI模型在六个生长阶段生成的全球特征图（GFM），识别了AI模型从中国、英国和美国收集的小麦冠层图像中学习到的关键特征。(b) 在GSP-AI模型中加入气候因素后，各生长阶段的预测准确性得到了提升（上方堆叠条形图）。

图5 GSP-AI模型对开花天数预测的表现，以及人工评分与AI预测结果之间的相关性分析。(a) GSP-AI预测的开花天数与人工估算在不同生长阶段的总体差异。(b) 每个国家的GSP-AI预测结果与人工评分的开花天数差异，并提供误差范围、预测天数的均值和中位数。(c) 三个相关矩阵，展示了在四个生长阶段进行皮尔逊相关分析的结果，变化情况（即，较窄表示较小的差异）和方向通过不同深浅的颜色标记，红色尺度从白色到红色（0-1）表示正相关（未观察到负相关）。

图6 使用智能手机收集的图像在中国的案例研究中验证和改进GSP-AI模型，提升了关键生长阶段识别和开花天数预测的准确性。(a&b) 使用可调成像杆安装的安卓智能手机收集了来自108个地块的系列小麦冠层图像，在六个关键生长阶段中，每幅图像的中央部分（约1平方米）被采样。经过图像增强，获得了9,987幅图像并添加到WGSP数据集中。(c) 与智能手机收集的图像相关的关键气候因素。(d) 生成的混淆矩阵展示了在分蘖期、拔节期、灌浆期和成熟期收集图像的结果，识别准确率达到94-97%。(e&f) 生成的小提琴图显示了在四个阶段预测的开花天数与人工评分之间的偏差，并通过使用R²和均方根误差（RMSE）进行相关分析，以评估预测开花天数的准确性。