論文の概要: SeaMo: A Season-Aware Multimodal Foundation Model for Remote Sensing

• arxiv url: http://arxiv.org/abs/2412.19237v2
• Date: Sun, 20 Apr 2025 00:08:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-22 17:11:52.638057
• Title: SeaMo: A Season-Aware Multimodal Foundation Model for Remote Sensing
• Title（参考訳）: SeaMo: リモートセンシングのための季節対応マルチモーダルファンデーションモデル
• Authors: Xuyang Li, Chenyu Li, Gemine Vivone, Danfeng Hong,
• Abstract要約: リモートセンシング(RS)データは、地球観測に必要な豊富な多次元情報をカプセル化する。 既存のVisual Foundation Models (VFM) は強力な特徴抽出器として機能し、事前トレーニングとその後の微調整にRSデータを活用する。 マルチモーダルおよびマルチシーズンRS情報を効果的に統合する新しいVFMであるSeaMoを紹介する。
• 参考スコア（独自算出の注目度）: 26.830180880225566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote Sensing (RS) data encapsulates rich multi-dimensional information essential for Earth observation. Its vast volume, diverse sources, and temporal continuity make it particularly well-suited for developing large Visual Foundation Models (VFMs). These models serve as powerful feature extractors, leveraging extensive RS data for pretraining and subsequent fine-tuning in various geoscientific applications. However, existing VFMs in the RS domain often concentrate on specific image characteristics, neglecting the full season-aware potential of RS data. To bridge this gap, we introduce SeaMo, a novel VFM that effectively integrates multimodal and multi-seasonal RS information. SeaMo leverages a masked image modeling framework to fully exploit the spatial, spectral, and seasonal dimensions of RS data. Specifically, we employ unaligned spatial region selection to capture spatial heterogeneity, incorporate multi-source inputs for enhanced multimodal integration, and introduce temporal-multimodal fusion blocks to assimilate seasonal variations effectively. By explicitly modeling the complex, season-dependent attributes of RS data, SeaMo enhances generalization, robustness, and adaptability across geoscientific tasks. Extensive experiments and ablation studies demonstrate its superior performance, underscoring its potential as a foundational model for Earth observation.
• Abstract（参考訳）: リモートセンシング(RS)データは、地球観測に必要な豊富な多次元情報をカプセル化する。 その膨大な量、多様な情報源、時間的連続性は、特に大規模なVisual Foundation Models (VFM) の開発に適している。 これらのモデルは強力な特徴抽出器として機能し、様々な地学応用において事前訓練およびその後の微調整に広範なRSデータを活用する。 しかし、RS領域の既存のVFMは、RSデータの全季節認識電位を無視して、特定の画像特性に集中することが多い。 このギャップを埋めるために、マルチモーダルとマルチソンRS情報を効果的に統合する新しいVFMであるSeaMoを導入する。 SeaMoはマスク付き画像モデリングフレームワークを活用し、RSデータの空間的、スペクトル的、季節的次元を完全に活用する。 具体的には、空間的不均一性を捉えるために非整合空間領域選択を採用し、マルチモーダル統合を強化するためにマルチソース入力を導入し、季節変動を効果的に同化するための時間・マルチモーダル融合ブロックを導入する。 RSデータの複雑な季節依存属性を明示的にモデル化することにより、SeaMoは地質学的なタスク間の一般化、堅牢性、適応性を向上させる。 大規模な実験とアブレーション研究は、その優れた性能を示し、地球観測の基礎モデルとしての可能性を強調している。

関連論文リスト

• PolSAM: Polarimetric Scattering Mechanism Informed Segment Anything Model [76.95536611263356]
  PolSARデータは、そのリッチで複雑な特徴のために、ユニークな課題を提示する。 複素数値データ、偏光特性、振幅画像などの既存のデータ表現が広く使われている。 PolSARのほとんどの機能抽出ネットワークは小さく、機能を効果的にキャプチャする能力を制限している。 本稿では,ドメイン固有の散乱特性と新規なプロンプト生成戦略を統合したSegment Anything Model (SAM) であるPolarimetric Scattering Mechanism-Informed SAM (PolSAM)を提案する。
  論文  参考訳（メタデータ） (2024-12-17T09:59:53Z)
• Multi-Scale and Multimodal Species Distribution Modeling [4.022195138381868]
  種分布モデル (SDM) は, 発生データと環境変数の分布を予測することを目的としている。 SDMへのディープラーニングの最近の応用は、特に空間データを含む新しい道を可能にしている。 我々はSDMのモジュール構造を開発し、シングルスケールとマルチスケールの両方でスケールの効果をテストする。 GeoLifeCLEF 2023ベンチマークの結果は、マルチモーダルデータとマルチスケール表現の学習を考えると、より正確なモデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-11-06T15:57:20Z)
• Foundation Models for Remote Sensing and Earth Observation: A Survey [101.77425018347557]
  本調査は、リモートセンシング基礎モデル(RSFM)の新しい分野を体系的にレビューする。 モチベーションと背景の概要から始まり、続いて基本概念が導入された。 我々はこれらのモデルを公開データセットと比較し、既存の課題について議論し、今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2024-10-22T01:08:21Z)
• MANet: Fine-Tuning Segment Anything Model for Multimodal Remote Sensing Semantic Segmentation [8.443065903814821]
  本研究では,マルチモーダルリモートセマンティックセマンティックセマンティックセグメンテーションのための新しいマルチモーダルアダプタベースネットワーク(MANet)を提案する。 このアプローチのコアとなるのは、SAMのイメージエンコーダを微調整して、マルチモーダルデータに対するモデルの一般的な知識を効果的に活用するMultimodal Adapter(MMAdapter)の開発である。 この研究は、マルチモーダル核融合のための新しいネットワークを導入するだけでなく、SAMのDSM(Digital Surface Model)データによる強力な一般化能力も初めて示した。
  論文  参考訳（メタデータ） (2024-10-15T00:52:16Z)
• RS-DFM: A Remote Sensing Distributed Foundation Model for Diverse Downstream Tasks [11.681342476516267]
  汎用情報マッピングとインタラクションに基づく分散センシング基礎モデル(RS-DFM)を提案する。 このモデルは、複数のプラットフォームにわたるオンライン協調認識と、さまざまな下流タスクを実現することができる。 本稿では、高周波・低周波特徴情報を分離するデュアルブランチ情報圧縮モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-11T07:46:47Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Spatial Attention-based Distribution Integration Network for Human Pose Estimation [0.8052382324386398]
  本研究では,空間アテンションに基づく分布統合ネットワーク(SADI-NET)を提案する。 我々のネットワークは、受容強化モジュール(RFM)、空間融合モジュール(SFM)、分散学習モジュール(DLM)の3つの効率的なモデルで構成されている。 我々のモデルは、MPIIテストデータセットで920.10%の精度を得、既存のモデルよりも大幅に改善され、最先端のパフォーマンスが確立された。
  論文  参考訳（メタデータ） (2023-11-09T12:43:01Z)
• Domain Adaptive Graph Neural Networks for Constraining Cosmological Parameters Across Multiple Data Sets [40.19690479537335]
  DA-GNNは,データセット間のタスクにおいて高い精度とロバスト性を実現する。 このことは、DA-GNNがドメインに依存しない宇宙情報を抽出するための有望な方法であることを示している。
  論文  参考訳（メタデータ） (2023-11-02T20:40:21Z)
• Source-Free Collaborative Domain Adaptation via Multi-Perspective Feature Enrichment for Functional MRI Analysis [55.03872260158717]
  安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。 ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。 しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。 我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
  論文  参考訳（メタデータ） (2023-08-24T01:30:18Z)
• Multimodal Remote Sensing Benchmark Datasets for Land Cover Classification with A Shared and Specific Feature Learning Model [36.993630058695345]
  マルチモーダルRSデータをモダリティ共有およびモダリティ固有成分に分解するための共有特徴学習(S2FL)モデルを提案する。 マルチモーダルベースラインと新たに提案されたS2FLモデルを評価するために、3つのマルチモーダルRSベンチマークデータセット、すなわちHouston2013 -- hyperspectral and multispectral data, Berlin -- hyperspectral and synthetic Aperture radar (SAR) data, Augsburg -- hyperspectral, SAR, digital surface model (DSM) dataがリリースされ、土地被覆分類に使用される。
  論文  参考訳（メタデータ） (2021-05-21T08:14:21Z)
• MTS-CycleGAN: An Adversarial-based Deep Mapping Learning Network for Multivariate Time Series Domain Adaptation Applied to the Ironmaking Industry [0.0]
  本研究は、特定の資産に基づく歴史的データ(ソース・ドメイン)を1つの参照資産(ターゲット・ドメイン)に対応するデータに変換することに焦点を当てる。 本稿では,CycleGAN に基づく多変量時系列データのアルゴリズム MTS-CycleGAN を提案する。 我々の貢献は、Long Short-Term Memory(LSTM)ベースのジェネレータと積み重ねLSTMベースの識別器のためのAutoEncoder(AE)のCycleGANアーキテクチャの統合である。
  論文  参考訳（メタデータ） (2020-07-15T07:33:25Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)
• MS-Net: Multi-Site Network for Improving Prostate Segmentation with Heterogeneous MRI Data [75.73881040581767]
  本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。 当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-02-09T14:11:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。