論文の概要: Sensor-Adaptive Flood Mapping with Pre-trained Multi-Modal Transformers across SAR and Multispectral Modalities
- arxiv url: http://arxiv.org/abs/2509.23035v1
- Date: Sat, 27 Sep 2025 01:09:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:18.995726
- Title: Sensor-Adaptive Flood Mapping with Pre-trained Multi-Modal Transformers across SAR and Multispectral Modalities
- Title(参考訳): SARおよびマルチスペクトルモードにおける事前学習型マルチモーダルトランスを用いたセンサ適応フラッドマッピング
- Authors: Tomohiro Tanaka, Narumasa Tsutsumida,
- Abstract要約: 本研究では, 微調整Prestoによる新しいセンサフレキシブル洪水検出手法を提案する。
Prestoは、SAR(Synthetic Aperture Radar)とMS(Multispectral)の両方をピクセルレベルで処理する軽量な($0.4Mパラメータ)マルチモーダル事前訓練トランスフォーマーである。
本手法は,SARのみ,MSのみ,あるいはSAR+MSを併用したフラッドマッピングを単一モデルアーキテクチャで実現している。
- 参考スコア(独自算出の注目度): 9.468135079115344
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Floods are increasingly frequent natural disasters causing extensive human and economic damage, highlighting the critical need for rapid and accurate flood inundation mapping. While remote sensing technologies have advanced flood monitoring capabilities, operational challenges persist: single-sensor approaches face weather-dependent data availability and limited revisit periods, while multi-sensor fusion methods require substantial computational resources and large-scale labeled datasets. To address these limitations, this study introduces a novel sensor-flexible flood detection methodology by fine-tuning Presto, a lightweight ($\sim$0.4M parameters) multi-modal pre-trained transformer that processes both Synthetic Aperture Radar (SAR) and multispectral (MS) data at the pixel level. Our approach uniquely enables flood mapping using SAR-only, MS-only, or combined SAR+MS inputs through a single model architecture, addressing the critical operational need for rapid response with whatever sensor data becomes available first during disasters. We evaluated our method on the Sen1Floods11 dataset against the large-scale Prithvi-100M baseline ($\sim$100M parameters) across three realistic data availability scenarios. The proposed model achieved superior performance with an F1 score of 0.896 and mIoU of 0.886 in the optimal sensor-fusion scenario, outperforming the established baseline. Crucially, the model demonstrated robustness by maintaining effective performance in MS-only scenarios (F1: 0.893) and functional capabilities in challenging SAR-only conditions (F1: 0.718), confirming the advantage of multi-modal pre-training for operational flood mapping. Our parameter-efficient, sensor-flexible approach offers an accessible and robust solution for real-world disaster scenarios requiring immediate flood extent assessment regardless of sensor availability constraints.
- Abstract(参考訳): 洪水は自然災害が頻発し、人的・経済的被害が大きくなり、急速かつ正確な浸水マップの必要性が浮き彫りになっている。
リモートセンシング技術は高度な洪水モニタリング機能を備えているが、運用上の課題は継続する: 単一センサーアプローチは、気象に依存したデータ可用性と限られた修正期間に直面し、マルチセンサー融合法は、かなりの計算資源と大規模ラベル付きデータセットを必要とする。
これらの制約に対処するために,Prestoを微調整し,SAR(Synthetic Aperture Radar)とMS(Multispectral)データの両方を画素レベルで処理する軽量($0.4Mパラメータ)マルチモーダル事前学習トランスフォーマを提案する。
本手法は,SARのみ,MSのみ,あるいはSAR+MSの組み合わせによるフラッドマッピングを単一モデルアーキテクチャで実現し,災害時に得られるセンサデータに迅速に対応するための重要な操作上のニーズに対処する。
我々は,Sen1Floods11データセットを用いて,3つの現実的なデータ可用性シナリオにおいて,大規模Prithvi-100Mベースライン($\sim$100Mパラメータ)に対して評価を行った。
提案モデルでは,F1スコアが0.896,mIoUが0.886であり,センサフュージョンの最適シナリオにおいて,確立されたベースラインよりも優れた性能を示した。
重要なことに、このモデルはMSのみのシナリオ(F1:0.893)とSARのみの条件(F1:0.718)に挑戦する機能(F1:0.718)で効果的な性能を維持することで堅牢性を示し、運用上の洪水マッピングにおけるマルチモーダル事前訓練の利点を確認した。
パラメータ効率, センサフレキシブルアプローチは, センサの可利用性に拘わらず, 即時浸水量評価を必要とする現実の災害シナリオに対して, アクセシブルで堅牢なソリューションを提供する。
関連論文リスト
- Investigating Traffic Accident Detection Using Multimodal Large Language Models [3.4123736336071864]
本研究では,交通事故の検出と記述を行うマルチモーダル大規模言語モデル(MLLM)のゼロショット機能について検討する。
その結果、PixtralはF1スコア71%、リコール83%のトップパフォーマーとなった。
これらの結果は、MLLMと高度な視覚分析技術の統合の可能性を示している。
論文 参考訳(メタデータ) (2025-09-23T14:47:33Z) - Towards Foundational Models for Single-Chip Radar [49.896124982717716]
mmWaveレーダーは小型で安価で耐久性のあるセンサーで、天気や暗闇といった環境条件によらず機能する。
これは角分解能の低さ、特に自動車や屋内センサーの用途で一般的に使用される安価な単チップレーダーのコストが伴う。
我々は、4Dシングルチップレーダーの基本モデルを訓練し、3D占有率とセマンティックセマンティックセグメンテーションを、高解像度センサーでのみ可能な品質で予測できる。
論文 参考訳(メタデータ) (2025-09-15T22:06:17Z) - ReconMOST: Multi-Layer Sea Temperature Reconstruction with Observations-Guided Diffusion [48.540756751934836]
ReconMOSTは多層水温再構築のためのデータ駆動誘導拡散モデルフレームワークである。
提案手法はMLベースのSST再構成をグローバルな多層設定に拡張し,92.5%以上の欠落データを処理する。
論文 参考訳(メタデータ) (2025-06-12T06:27:22Z) - Resource-Efficient Beam Prediction in mmWave Communications with Multimodal Realistic Simulation Framework [57.994965436344195]
ビームフォーミングは、方向と強度を最適化して信号伝送を改善するミリ波通信において重要な技術である。
マルチモーダルセンシング支援ビーム予測は,ユーザ位置やネットワーク条件を予測するために,さまざまなセンサデータを使用して注目されている。
その有望な可能性にもかかわらず、マルチモーダルセンシング支援ビーム予測の採用は、高い計算複雑性、高いコスト、限られたデータセットによって妨げられている。
論文 参考訳(メタデータ) (2025-04-07T15:38:25Z) - t-READi: Transformer-Powered Robust and Efficient Multimodal Inference for Autonomous Driving [34.4792159427294]
t-READiは,マルチモーダルセンサデータの変動を考慮した適応型推論システムである。
平均推論精度を6%以上改善し、推論遅延を約15倍削減する。
論文 参考訳(メタデータ) (2024-10-13T06:53:58Z) - Scaling Data Generation in Vision-and-Language Navigation [116.95534559103788]
本稿では,学習のための大規模データ生成に有効なパラダイムを提案する。
我々は、HM3DとGibsonのデータセットから1200以上のフォトリアリスティック環境を適用し、490万の命令軌道対を合成する。
我々の大規模データセットのおかげで、既存のエージェントの性能は(以前のSoTAでは+11%絶対)、単純な模倣学習によってR2Rテストの分割で80%の単ラン成功率で大幅に向上できる。
論文 参考訳(メタデータ) (2023-07-28T16:03:28Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳(メタデータ) (2022-05-19T08:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。