論文の概要: REOBench: Benchmarking Robustness of Earth Observation Foundation Models
- arxiv url: http://arxiv.org/abs/2505.16793v1
- Date: Thu, 22 May 2025 15:34:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:48.403894
- Title: REOBench: Benchmarking Robustness of Earth Observation Foundation Models
- Title(参考訳): REOBench:地球観測基礎モデルのロバスト性ベンチマーク
- Authors: Xiang Li, Yong Tao, Siyuan Zhang, Siwei Liu, Zhitong Xiong, Chunbo Luo, Lu Liu, Mykola Pechenizkiy, Xiao Xiang Zhu, Tianjin Huang,
- Abstract要約: REOBenchは、地球観測基盤モデルの堅牢性を評価するための最初の総合的なベンチマークである。
マスク付き画像モデリング、コントラスト学習、視覚言語事前学習パラダイムを用いて訓練された幅広いモデルの体系的評価を行う。
その結果, 既存の地球観測基盤モデルでは, 入力汚損に晒された場合, 顕著な性能劣化がみられた。
- 参考スコア(独自算出の注目度): 42.125301183756875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Earth observation foundation models have shown strong generalization across multiple Earth observation tasks, but their robustness under real-world perturbations remains underexplored. To bridge this gap, we introduce REOBench, the first comprehensive benchmark for evaluating the robustness of Earth observation foundation models across six tasks and twelve types of image corruptions, including both appearance-based and geometric perturbations. To ensure realistic and fine-grained evaluation, our benchmark focuses on high-resolution optical remote sensing images, which are widely used in critical applications such as urban planning and disaster response. We conduct a systematic evaluation of a broad range of models trained using masked image modeling, contrastive learning, and vision-language pre-training paradigms. Our results reveal that (1) existing Earth observation foundation models experience significant performance degradation when exposed to input corruptions. (2) The severity of degradation varies across tasks, model architectures, backbone sizes, and types of corruption, with performance drop varying from less than 1% to over 20%. (3) Vision-language models show enhanced robustness, particularly in multimodal tasks. REOBench underscores the vulnerability of current Earth observation foundation models to real-world corruptions and provides actionable insights for developing more robust and reliable models.
- Abstract(参考訳): 地球観測基盤モデルでは、複数の地球観測タスクにまたがる強力な一般化が示されているが、現実の摂動下でのその堅牢性はまだ探索されていない。
このギャップを埋めるために、REOBenchは、地球観測基盤モデルの6つのタスクと12種類の画像破損の堅牢性を評価するための最初の総合的なベンチマークである。
本ベンチマークでは,都市計画や災害対応などの重要な応用に広く用いられている高解像度光リモートセンシング画像に焦点をあてる。
マスク付き画像モデリング、コントラスト学習、視覚言語事前学習パラダイムを用いて訓練された幅広いモデルの体系的評価を行う。
その結果,(1) 既存の地球観測基盤モデルでは, 入力汚損に晒された場合, 顕著な性能劣化がみられた。
2) 劣化の深刻度はタスク、モデルアーキテクチャ、バックボーンのサイズ、破損の種類によって異なり、パフォーマンスの低下は1%未満から20%以上になる。
(3)視覚言語モデルは、特にマルチモーダルタスクにおいて強靭性を示す。
REOBenchは、現在の地球観測基盤モデルの脆弱性を現実世界の汚職に適用し、より堅牢で信頼性の高いモデルを開発するための実用的な洞察を提供する。
関連論文リスト
- Benchmarking the Spatial Robustness of DNNs via Natural and Adversarial Localized Corruptions [49.546479320670464]
本稿では,セグメンテーションモデルの空間的ロバスト性を評価するための特別な指標を紹介する。
本稿では,モデルロバスト性をより深く理解する手法として,地域対応型マルチアタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック分析を提案する。
その結果、モデルがこれらの2種類の脅威に異なる反応を示すことが明らかとなった。
論文 参考訳(メタデータ) (2025-04-02T11:37:39Z) - FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration [66.61201445650323]
既存の手法は現実のシナリオにおける一般化ボトルネックに悩まされる。
既存のトレーニングデータに対して,2つの大きなメリットがある,100万規模のデータセットをコントリビュートしています。
実世界のシナリオにおいて,より広範囲の復元作業に対処するために,ロバストなモデルFoundIRを提案する。
論文 参考訳(メタデータ) (2024-12-02T12:08:40Z) - Towards Evaluating the Robustness of Visual State Space Models [63.14954591606638]
視覚状態空間モデル(VSSM)は視覚知覚タスクにおいて顕著な性能を示した。
しかし、自然と敵対的な摂動の下での頑丈さは依然として重要な懸念事項である。
様々な摂動シナリオ下でのVSSMの頑健さを総合的に評価する。
論文 参考訳(メタデータ) (2024-06-13T17:59:44Z) - On the Robustness of Object Detection Models on Aerial Images [38.91734128770737]
DOTA-v1.0に基づく新しいベンチマークを2つ導入する。
第1のベンチマークは、19の一般的な汚職を含むが、第2のベンチマークは、クラウド崩壊状態に焦点を当てている。
回転不変モデリングと強化されたバックボーンアーキテクチャはモデルの堅牢性を向上させることができる。
論文 参考訳(メタデータ) (2023-08-29T15:16:51Z) - A Survey on the Robustness of Computer Vision Models against Common Corruptions [3.6486148851646063]
コンピュータビジョンモデルは、センサーエラーや極端な撮像環境に起因する入力画像の変化に影響を受けやすい。
これらの破損は、現実のシナリオにデプロイする際のモデルの信頼性を著しく損なう可能性がある。
本稿では,コンピュータビジョンモデルの汎用汚職に対する堅牢性を改善する手法について概観する。
論文 参考訳(メタデータ) (2023-05-10T10:19:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。