Fiabilité et transparence : une plongée dans notre processus de validation scientifique

Pour accompagner un·e agriculteur·rice, un chargé d’affaires ou un assureur dans sa prise de décision face aux risques dans le secteur agricole, nous nous devons de mettre à disposition des résultats aussi fiables que la science le permet par le biais d’un processus de validation aussi transparent que possible. En combinant l’ensemble de nos connaissances en statistiques, mathématiques et intelligence artificielle, nous avons mis en place un processus exigeant et rigoureux de validation pour toutes les étapes de notre modélisation: du rendement agricole à la mesure d’adaptation.

Plongée au cœur de notre processus de validation.

Un processus rigoureux pour des décisions fiables

Notre approche repose sur une connaissance scientifique approfondie climatologie, agronomie et économie. Grâce à des techniques avancées de statistiques, mathématiques, et d’intelligence artificielle, nous construisons des modèles capables de prédire des phénomènes complexes en lien avec le climat et l’agriculture et d’offrir une compréhension précise et surtout actionnable.

Notre modélisation du rendement observé à l’adaptation se fait en quatre étapes :

• La descente d’échelle des données départementales de rendements;
• La construction de modèles de deep learning reliant données pédologiques, climatiques et agronomiques au rendement observé;
• Les projections sur les rendements grâce aux données de modèles climatiques;
• L’effet des mesures d’adaptation sur les rendements observés et projetés.

Pour garantir la fiabilité de nos solutions, nous avons mis en place un processus de validation strict, pour chacune des étapes de la modélisation.

Descente d’échelle des données départements de rendements : affiner les prévisions au niveau local

Ce module transforme les données de rendement disponible à l’échelle départementale en informations plus granulaires, à 500m de résolution, permettant une appréciation plus fine du contexte local. Les résultats sont disponibles à une résolution de 500, et de la parcelle et peuvent être agrégées en fonction de la résolution pertinente à la modélisation. Ces résultats alimentent directement notre modélisation des rendements : toute erreur peut se propager, ce qui rend la vérification et la validation de ces résultats essentielles.

1. Évaluation statistique : à l’aide de métriques statistiques comme la racine de l’erreur quadratique moyenne (RMSE) et l’erreur absolue moyenne (MAE) ainsi que la variation temporelle. Nous comparons nos modélisations aux rendements observés pour ajuster et améliorer continuellement nos modèles. L’évaluation statistique repose également sur l’analyse de l’effet des variables clés afin d’en décéler l’influence et de la comparer avec des publications scientifiques de référence.
2. Validation physique : en l’absence de données de référence précises à l’échelle sous-départementale, nous analysons les corrélations notamment entre les paramètres pédologiques et topographiques et pédologiques pour vérifier que nos estimations sont cohérentes avec la littérature scientifique et agronomique.
3. Validation à la ferme grâce à des partenaires exploitants et des organisations de filière, nous avons également accès à des données de rendement à la ferme qui nous permettent de vérifier nos données.

Tester la précision de nos modèles de rendement

Ce module est au cœur de notre approche : il prédit les rendements en fonction des conditions climatiques et des facteurs agronomiques tels que la durée du cycle de croissance de la culture (du semis à la récolte) et des paramètres pédologiques tels que la composition des sols ou leur profondeur.La modélisation repose sur un algorithme deep learning (un réseau de neurones) qui prend en entrée les données susmentionnées. Le processus de validation consiste également en trois étapes.

• Validation par généralisation : le modèle entraîné est validé en testant sa capacité à prédire des données non utilisées dans sa phase d’entraînement. Cette étape permet de vérifier que le modèle est généralisable en dehors des données utilisées à son entraînement. Cette étape est clé dans la mesure où les modèles développés sont également utilisés pour projeter les rendements futurs.
• Tests statistiques : par le biais d’une comparaison entre rendements prédits et observés,de nombreux tests sont appliqués tels que RMSE, pourcentage d'erreur absolu moyen (MAPE), MAE. Une autre nouveauté mise en œuvre dans ce processus de validation est son application à à des sous-ensembles de données extrêmes afin de tester la capacité du modèle à expliquer les événements ayant les conséquences les plus négatives sur les rendements..
• Tests de l’effet des variables : cette étape est cruciale pour vérifier que les modèles développés reproduisent de manière précise les variations attendues, telles que l’effet de coup de chaleur ou de vague de sécheresse à différentes phases phénologiques. Cette analyse repose sur des méthodes statistiques très avancées telles que les valeurs de Shapley (https://en.wikipedia.org/wiki/Shapley_value) et le test de sensibilité à l'amplitude de Fourier (https://en.wikipedia.org/wiki/Fourier_amplitude_sensitivity_testing).

Projection des rendements dans le temps

Une fois le modèle de deep learning validé sur les données observées, nous évaluons sa capacité à prédire les rendements futurs, un défi encore plus complexe. Ce défi est complexe dans la mesure où les bases de données disponibles pour la comparaison sont peu courantes et souvent limitées à des cultures majeures, alors que nous produisons des résultats actuellement pour 40 cultures différentes.

• Projections de rendement disponibles : pour les cultures majeures (blé, riz, maïs et soja), il existe des projets internationaux d’inter-comparaison des rendements (voir: https://www.isimip.org/). Ces données facilitent la comparaison directe, même si la majorité des modèles utilisés dans cet exercice présentent des limitations concernant les extrêmes climatiques (https://iopscience.iop.org/article/10.1088/1748-9326/ac592e/pdf) et, surtout, l'excès d'eau (https://www.sciencedirect.com/science/article/pii/S0378377423001993).
• Comparaison par proxy : nous nous appuyons sur des travaux sur d’autres cultures cultivés dans des revues à comité de lecture, notamment sur l'adéquation climatique des cultures. Il s’agit notamment de nos travaux en collaboration avec la FAO publiés en 2025 dans Environmental Research Letters (https://iopscience.iop.org/article/10.1088/1748-9326/adacfe). Ces études utilisent des méthodes et modèles alternatifs, offrant une comparaison et validation de nos prédictions avec différentes approches reconnues.
• Stress-tests : le modèle est “stressé” pour vérifier sa réponse à des événements ou conditions climatiques extrêmes. Nous analysons la performance du modèle dans divers scénarios climatiques futurs.

Évaluer les stratégies d'adaptation

Pour évaluer la fiabilité de notre modélisation de l'adaptation, nous avons réalisé une méta-analyse portant sur les éléments suivants plus de 10 000 articles scientifiques. Pour évaluer la fiabilité de notre modélisation sur l’adaptation, nous avons réalisé une méta-analyse couvrant plus de 10,000 articles scientifiques. Parmi ce corpus, les papiers pertinents pour notre analyse ont été sélectionnés et les données sur les effets des adaptations sur les rendements et sur des variables agronomiques en ont été extraites. Grâce à cette méta-analyse, nous disposons donc d’une vaste base de données issues de la littérature à laquelle nous pouvons comparer les résultats générés par nos modèles de rendement afin d’en évaluer la précision et à partir de laquelle nous pouvons affiner les paramètres utilisés dans ces modèles.

1. Comparaison de l'effet sur les rendements : les résultats générés par nos modèles intégrant l’adaptation sont comparés aux données extraites de la méta-analyse. L’indicateur statistique utilisé est le coefficient de Szymkiewicz–Simpson (https://en.wikipedia.org/wiki/Overlap_coefficient). Par ce biais, il est possible de vérifier la fiabilité de la méthode et si nécessaire d’en ajuster les paramètres agro-climatiques. 
2. Ajustement des paramètres agro-climatiques de l’effet de l’adaptation basé sur la littérature : nos modèles intègrent les résultats d’études scientifiques pour quantifier les effets des stratégies d’adaptation sur des variables climatiques et relatives au sol. Au cas où les résultats obtenus dans l’étape de comparaison, cet ajustement permet de corriger les effets modélisés.
3. Jugement d’experts : alors que toutes les autres étapes du processus de validation, pour la modélisation de l’adaptation et sa validation, nous gardons une dernière validation par jugements d’experts. Cette validation nous permet de vérifier que les résultats obtenus par les modèles sur les données historiques sont cohérents avec la litérature scientifique et les effets attendus d’une mesure d’adaptation eu égard à un contexte pédologique et climatique précis.

Vers un standard de marché

Notre objectif ne se limite pas à évaluer nos modèles actuels. Nous souhaitons que ce processus de validation des modèles deviennent un cadre de référence, un standard de marché pour l’ensemble des acteurs du conseil en adaptation et risques climatiques dans le monde agricole et ailleurs. . Ce cadre de référence devrait inclure:

• La publication de la méthode d’évaluation et de validation des données et modèles.
• La mise à disposition des résultats d’évaluation et de validation en direction d’une standardisation de ceux-ci..
• L’automatisation des tests de validation pour une efficacité accrue.
• La génération de rapports détaillés pour un suivi transparent et rigoureux, toujours disponibles auprès des utilisateurs et preneurs de décisions utilisant ces données.

En adoptant cette approche exigeante, nous nous assurons que nos modèles ne sont pas seulement précis, mais aussi robustes et adaptés aux besoins réels des acteurs du monde agricole,de ceux qui produisent, l’assurent et le financent.

Envie d’en savoir plus ? Contactez-nous : https://finres.org/contact/