論文の概要: Intrinsic Explainability of Multimodal Learning for Crop Yield Prediction

• arxiv url: http://arxiv.org/abs/2508.06939v1
• Date: Sat, 09 Aug 2025 11:09:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.619172
• Title: Intrinsic Explainability of Multimodal Learning for Crop Yield Prediction
• Title（参考訳）: 作物収量予測のためのマルチモーダル学習の本質的説明可能性
• Authors: Hiba Najjar, Deepak Pathak, Marlon Nuske, Andreas Dengel,
• Abstract要約: マルチモーダル学習ネットワークを説明するために,トランスフォーマーベースモデルの本質的な説明性を活用する。 本研究は,サブフィールドレベルでの収量予測の課題に焦点を当てた。
• 参考スコア（独自算出の注目度）: 36.766406330345525
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal learning enables various machine learning tasks to benefit from diverse data sources, effectively mimicking the interplay of different factors in real-world applications, particularly in agriculture. While the heterogeneous nature of involved data modalities may necessitate the design of complex architectures, the model interpretability is often overlooked. In this study, we leverage the intrinsic explainability of Transformer-based models to explain multimodal learning networks, focusing on the task of crop yield prediction at the subfield level. The large datasets used cover various crops, regions, and years, and include four different input modalities: multispectral satellite and weather time series, terrain elevation maps and soil properties. Based on the self-attention mechanism, we estimate feature attributions using two methods, namely the Attention Rollout (AR) and Generic Attention (GA), and evaluate their performance against Shapley-based model-agnostic estimations, Shapley Value Sampling (SVS). Additionally, we propose the Weighted Modality Activation (WMA) method to assess modality attributions and compare it with SVS attributions. Our findings indicate that Transformer-based models outperform other architectures, specifically convolutional and recurrent networks, achieving R2 scores that are higher by 0.10 and 0.04 at the subfield and field levels, respectively. AR is shown to provide more robust and reliable temporal attributions, as confirmed through qualitative and quantitative evaluation, compared to GA and SVS values. Information about crop phenology stages was leveraged to interpret the explanation results in the light of established agronomic knowledge. Furthermore, modality attributions revealed varying patterns across the two methods compared.[...]
• Abstract（参考訳）: マルチモーダル学習により、様々な機械学習タスクが多様なデータソースの恩恵を受けることができ、特に農業において、現実世界の応用における様々な要因の相互作用を効果的に模倣することができる。 データモダリティの不均一性は複雑なアーキテクチャの設計を必要とするかもしれないが、モデル解釈可能性はしばしば見過ごされる。 本研究では,トランスフォーマーベースモデルの本質的な説明可能性を活用し,マルチモーダル学習ネットワークの説明を行い,サブフィールドレベルでの収量予測の課題に着目した。 使用される大規模なデータセットは、様々な作物、地域、年数をカバーするとともに、マルチスペクトル衛星と気象時系列、地形の標高マップ、土壌特性の4つの異なる入力モードを含んでいる。 自己注意機構に基づき、注意ロールアウト(AR)とジェネリックアテンション(GA)という2つの手法を用いて特徴属性を推定し、その性能をシェープリーに基づくモデル非依存推定、シェープリー値サンプリング(SVS)と比較した。 さらに,重み付きモダリティ・アクティベーション(WMA)法を提案し,SVS属性と比較した。 以上の結果から,トランスフォーマーモデルは他のアーキテクチャ,特に畳み込みと再帰のネットワークを上回り,サブフィールドとフィールドレベルでそれぞれ0.10と0.04のR2スコアを達成できた。 ARは、GAやSVSの値と比較して質的、定量的な評価によって確認されるように、より堅牢で信頼性の高い時間的属性を提供する。 作物の表現学段階に関する情報を利用して、確立された農学知識の照らし合わせ、説明結果を解釈した。 さらに, モダリティの属性から, 比較した2つの手法のパターンが異なっていた。 [...]

関連論文リスト

• Consistency of Feature Attribution in Deep Learning Architectures for Multi-Omics [0.36646002427839136]
  マルチオミクスデータに適用した多視点深層学習モデルにおけるShapley Additive Explanations (SHAP)の使用について検討する。 SHAPによる機能ランキングは、メソッドの一貫性を評価するために様々なアーキテクチャで比較される。 本稿では,重要な生体分子の同定の堅牢性を評価する方法を提案する。
  論文  参考訳（メタデータ） (2025-07-30T17:53:42Z)
• A multi-scale vision transformer-based multimodal GeoAI model for mapping Arctic permafrost thaw [2.906027992527643]
  北極地域のレトロ・ソー・スランプ(RTS)は、環境に重大な影響を与える永久凍土の地形である。 本稿では,現在最先端の深層学習モデルであるMask R-CNNを用いて,北極圏のRTS特徴を記述した。 マルチモーダル学習を最適化し、モデルの予測性能を向上させるための2つの新しい戦略が導入された。
  論文  参考訳（メタデータ） (2025-04-23T22:18:10Z)
• Exploring the Efficacy of Meta-Learning: Unveiling Superior Data Diversity Utilization of MAML Over Pre-training [1.3980986259786223]
  データセットの多様性が視覚モデルの性能に影響を及ぼすことを示す。 本研究は,テストセットの精度とデータの多様性との間に正の相関関係を示す。 これらの結果は我々の仮説を支持し、形式的なデータの多様性がモデルの性能にどのように影響するかをより深く探究するための有望な方法を示す。
  論文  参考訳（メタデータ） (2025-01-15T00:56:59Z)
• Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
  本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。 特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。 事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Explainable AI in Grassland Monitoring: Enhancing Model Performance and Domain Adaptability [0.6131022957085438]
  草原は高い生物多様性と複数の生態系サービスを提供する能力で知られている。 指標植物の自動識別の課題は、大規模な草地モニタリングの鍵となる障害である。 本稿では,移動学習と草地モニタリングへのXAIアプローチを中心に,後者の2つの課題を考察する。
  論文  参考訳（メタデータ） (2023-12-13T10:17:48Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• IMACS: Image Model Attribution Comparison Summaries [16.80986701058596]
  我々は,勾配に基づくモデル属性とアグリゲーションと可視化技術を組み合わせたIMACSを提案する。 IMACSは評価データセットから適切な入力特徴を抽出し、類似性に基づいてクラスタ化し、類似した入力特徴に対するモデル属性の違いを可視化する。 本稿では,衛星画像上で訓練した2つのモデル間の領域シフトによる行動差を明らかにする方法を示す。
  論文  参考訳（メタデータ） (2022-01-26T21:35:14Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Semantic Change Detection with Asymmetric Siamese Networks [71.28665116793138]
  2つの空中画像が与えられた場合、セマンティックチェンジ検出は、土地被覆のバリエーションを特定し、それらの変化タイプをピクセルワイド境界で識別することを目的としている。 この問題は、正確な都市計画や天然資源管理など、多くの地球ビジョンに関連するタスクにおいて不可欠である。 本研究では, 広く異なる構造を持つモジュールから得られた特徴対を用いて意味変化を同定し, 同定するための非対称システマネットワーク(ASN)を提案する。
  論文  参考訳（メタデータ） (2020-10-12T13:26:30Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。