論文の概要: Generalization and Feature Attribution in Machine Learning Models for Crop Yield and Anomaly Prediction in Germany
- arxiv url: http://arxiv.org/abs/2512.15140v1
- Date: Wed, 17 Dec 2025 07:01:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-18 17:06:26.883195
- Title: Generalization and Feature Attribution in Machine Learning Models for Crop Yield and Anomaly Prediction in Germany
- Title(参考訳): ドイツにおける作物収量と異常予測のための機械学習モデルの一般化と特徴属性
- Authors: Roland Baatz,
- Abstract要約: 本研究では,ドイツのNUTS-3領域における収量予測と収量異常の予測に使用される機械学習モデルの一般化性能と解釈可能性について検討した。
高品質な長期データセットを用いて、アンサンブルツリーモデルとディープラーニングアプローチの評価と時間的検証の挙動を体系的に比較した。
テストセットの精度は高いが、時間的検証性能の弱いモデルでも、信頼性の高いSHAP特徴値が得られる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study examines the generalization performance and interpretability of machine learning (ML) models used for predicting crop yield and yield anomalies in Germany's NUTS-3 regions. Using a high-quality, long-term dataset, the study systematically compares the evaluation and temporal validation behavior of ensemble tree-based models (XGBoost, Random Forest) and deep learning approaches (LSTM, TCN). While all models perform well on spatially split, conventional test sets, their performance degrades substantially on temporally independent validation years, revealing persistent limitations in generalization. Notably, models with strong test-set accuracy, but weak temporal validation performance can still produce seemingly credible SHAP feature importance values. This exposes a critical vulnerability in post hoc explainability methods: interpretability may appear reliable even when the underlying model fails to generalize. These findings underscore the need for validation-aware interpretation of ML predictions in agricultural and environmental systems. Feature importance should not be accepted at face value unless models are explicitly shown to generalize to unseen temporal and spatial conditions. The study advocates for domain-aware validation, hybrid modeling strategies, and more rigorous scrutiny of explainability methods in data-driven agriculture. Ultimately, this work addresses a growing challenge in environmental data science: how can we evaluate generalization robustly enough to trust model explanations?
- Abstract(参考訳): 本研究では,ドイツのNUTS-3領域における収量予測と収量異常の予測に使用される機械学習モデルの一般化性能と解釈可能性について検討した。
高品質な長期データセットを用いて、アンサンブルツリーベースモデル(XGBoost, Random Forest)と深層学習アプローチ(LSTM, TCN)の評価と時間的妥当性を体系的に比較した。
全てのモデルは空間的に分割された従来のテストセットでよく機能するが、それらの性能は時間的に独立な検証年で著しく低下し、一般化における永続的な制限が明らかになる。
特に、強いテストセット精度を持つモデルでは、時間的検証性能の弱いモデルでも、信頼性の高いSHAP特徴値が得られる。
これは、ポストホックな説明可能性メソッドにおいて重大な脆弱性を露呈する。
これらの知見は,農業・環境システムにおけるML予測の検証と解釈の必要性を浮き彫りにした。
モデルが明らかに時間的および空間的条件に一般化することを示さない限り、特徴の重要性は、顔の値で受け入れられるべきではない。
この研究は、データ駆動農業におけるドメイン・アウェア・バリデーション、ハイブリッド・モデリング・ストラテジー、およびより厳密な説明可能性手法の精査を提唱している。
最終的に、この研究は環境データ科学における課題に対処する:モデル説明を信頼するのに十分な一般化をしっかりと評価する方法?
関連論文リスト
- Uncalibrated Reasoning: GRPO Induces Overconfidence for Stochastic Outcomes [55.2480439325792]
強化学習(Reinforcement Learning, RL)は、数学のような検証可能な決定論的領域において、言語モデルの精度を向上させるために著しく有効であることが証明されている。
本稿では,現在のRL法が,科学的実験のような検証可能な領域における言語モデルの最適化にも有効かどうかを検討する。
論文 参考訳(メタデータ) (2025-08-15T20:50:53Z) - Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。
本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
論文 参考訳(メタデータ) (2025-06-13T15:27:40Z) - Prediction Models That Learn to Avoid Missing Values [7.302408149992981]
失敗回避機械学習(英: Missingness-avoiding、MA)は、テスト時に欠落する機能の価値をほとんど必要としないモデルをトレーニングするためのフレームワークである。
我々は,決定木,木アンサンブル,疎線形モデルに適したMA学習アルゴリズムを作成する。
我々のフレームワークは、テスト時に欠落した値の予測において、解釈可能性を維持する強力なツールを提供する。
論文 参考訳(メタデータ) (2025-05-06T10:16:35Z) - A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
C$2$TSDという条件拡散フレームワークを導入する。
実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
論文 参考訳(メタデータ) (2024-02-18T11:59:04Z) - A roadmap to fair and trustworthy prediction model validation in
healthcare [2.476158303361112]
予測モデルは、開発データを超えて一般化すれば最も有用である。
本稿では,信頼性,公正,信頼性の高い人工知能予測モデルの開発と適用を促進するロードマップを提案する。
論文 参考訳(メタデータ) (2023-04-07T04:24:19Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳(メタデータ) (2023-02-23T18:57:14Z) - How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。
本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文 参考訳(メタデータ) (2022-06-17T16:18:28Z) - The Lifecycle of a Statistical Model: Model Failure Detection,
Identification, and Refitting [26.351782287953267]
モデル性能が低下し始めた共変量空間(サブポピュレーション)の領域を検出し同定するためのツールと理論を開発した。
実世界の3つのデータセットを用いて実験結果を示す。
我々はこれらの実験結果を補足し、我々の手法が異常なサブ集団の回復に最適であることを示す理論で補足する。
論文 参考訳(メタデータ) (2022-02-08T22:02:31Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - A comprehensive study on the prediction reliability of graph neural
networks for virtual screening [0.0]
本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。
その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
論文 参考訳(メタデータ) (2020-03-17T10:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。