論文の概要: SeaMo: A Multi-Seasonal and Multimodal Remote Sensing Foundation Model

• arxiv url: http://arxiv.org/abs/2412.19237v1
• Date: Thu, 26 Dec 2024 14:40:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 21:44:05.147434
• Title: SeaMo: A Multi-Seasonal and Multimodal Remote Sensing Foundation Model
• Title（参考訳）: SeaMo: マルチシーソンおよびマルチモーダルリモートセンシングファウンデーションモデル
• Authors: Xuyang Li, Danfeng Hong, Chenyu Li, Jocelyn Chanussot,
• Abstract要約: RS分野におけるマルチシーズン情報とマルチモーダル情報を統合する先駆的視覚基盤モデルSeaMoを提案する。 SeaMoはRSデータの多次元特性を明示的にモデル化し、モデルをより包括的で、堅牢で、多用途にする。
• 参考スコア（独自算出の注目度）: 39.38641232874326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote Sensing (RS) data contains a wealth of multi-dimensional information crucial for Earth observation. Owing to its vast volume, diverse sources, and temporal properties, RS data is highly suitable for the development of large Visual Foundation Models (VFMs). VFMs act as robust feature extractors, learning from extensive RS data, and are subsequently fine-tuned for deployment in various geoscientific tasks. However, current VFMs in the RS domain are predominantly pretrained and tailored exclusively for specific characteristics of RS imagery, neglecting the potential of utilizing the multi-dimensional properties of RS data. Therefore, in this work, we propose SeaMo, a pioneering visual foundation model that integrates multi-seasonal and multimodal information in the RS field. SeaMo is designed to harness multiple properties of RS data. Within the masked image modeling framework, we employ non-aligned cropping techniques to extract spatial properties, use multi-source inputs for multimodal integration, and incorporate temporal-multimodal fusion blocks for effective assimilation of multi-seasonal data. SeaMo explicitly models the multi-dimensional properties of RS data, making the model more comprehensive, robust, and versatile. We applied SeaMo to several downstream geoscience tasks, which demonstrated exceptional performance. Extensive ablation studies were conducted to validate the model's superiority.
• Abstract（参考訳）: リモートセンシング(RS)データには、地球観測に不可欠な多次元情報が含まれている。 膨大な量、多様な情報源、時間的特性のために、RSデータは大規模なVisual Foundation Models (VFM) の開発に非常に適している。 VFMは強靭な特徴抽出器として機能し、広範なRSデータから学習し、その後様々な地質学的タスクに展開するために微調整される。 しかし、RS領域の現在のVFMは、RSデータの多次元特性を利用する可能性を無視して、RS画像の特定の特性のために、主に事前訓練され、調整されている。 そこで本研究では,マルチシーズンおよびマルチモーダル情報をRS分野に統合した先駆的視覚基盤モデルSeaMoを提案する。 SeaMoはRSデータの複数の特性を利用するように設計されている。 マスク付き画像モデリングフレームワーク内では、空間特性の抽出、マルチモーダル統合のためのマルチソース入力、マルチソンデータの効率的な同化のための時間・マルチモーダル融合ブロックを組み込む非整列トリミング技術を用いている。 SeaMoはRSデータの多次元特性を明示的にモデル化し、モデルをより包括的で、堅牢で、多用途にする。 いくつかの下流地学課題にSeaMoを応用し,異常な性能を示した。 モデルの優越性を検証するために、広範囲にわたるアブレーション研究を行った。

関連論文リスト

• PolSAM: Polarimetric Scattering Mechanism Informed Segment Anything Model [76.95536611263356]
  PolSARデータは、そのリッチで複雑な特徴のために、ユニークな課題を提示する。 複素数値データ、偏光特性、振幅画像などの既存のデータ表現が広く使われている。 PolSARのほとんどの機能抽出ネットワークは小さく、機能を効果的にキャプチャする能力を制限している。 本稿では,ドメイン固有の散乱特性と新規なプロンプト生成戦略を統合したSegment Anything Model (SAM) であるPolarimetric Scattering Mechanism-Informed SAM (PolSAM)を提案する。
  論文  参考訳（メタデータ） (2024-12-17T09:59:53Z)
• Multi-Scale and Multimodal Species Distribution Modeling [4.022195138381868]
  種分布モデル (SDM) は, 発生データと環境変数の分布を予測することを目的としている。 SDMへのディープラーニングの最近の応用は、特に空間データを含む新しい道を可能にしている。 我々はSDMのモジュール構造を開発し、シングルスケールとマルチスケールの両方でスケールの効果をテストする。 GeoLifeCLEF 2023ベンチマークの結果は、マルチモーダルデータとマルチスケール表現の学習を考えると、より正確なモデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-11-06T15:57:20Z)
• Foundation Models for Remote Sensing and Earth Observation: A Survey [101.77425018347557]
  本調査は、リモートセンシング基礎モデル(RSFM)の新しい分野を体系的にレビューする。 モチベーションと背景の概要から始まり、続いて基本概念が導入された。 我々はこれらのモデルを公開データセットと比較し、既存の課題について議論し、今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2024-10-22T01:08:21Z)
• MANet: Fine-Tuning Segment Anything Model for Multimodal Remote Sensing Semantic Segmentation [8.443065903814821]
  本研究では,マルチモーダルリモートセマンティックセマンティックセマンティックセグメンテーションのための新しいマルチモーダルアダプタベースネットワーク(MANet)を提案する。 このアプローチのコアとなるのは、SAMのイメージエンコーダを微調整して、マルチモーダルデータに対するモデルの一般的な知識を効果的に活用するMultimodal Adapter(MMAdapter)の開発である。 この研究は、マルチモーダル核融合のための新しいネットワークを導入するだけでなく、SAMのDSM(Digital Surface Model)データによる強力な一般化能力も初めて示した。
  論文  参考訳（メタデータ） (2024-10-15T00:52:16Z)
• RS-DFM: A Remote Sensing Distributed Foundation Model for Diverse Downstream Tasks [11.681342476516267]
  汎用情報マッピングとインタラクションに基づく分散センシング基礎モデル(RS-DFM)を提案する。 このモデルは、複数のプラットフォームにわたるオンライン協調認識と、さまざまな下流タスクを実現することができる。 本稿では、高周波・低周波特徴情報を分離するデュアルブランチ情報圧縮モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-11T07:46:47Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Spatial Attention-based Distribution Integration Network for Human Pose Estimation [0.8052382324386398]
  本研究では,空間アテンションに基づく分布統合ネットワーク(SADI-NET)を提案する。 我々のネットワークは、受容強化モジュール(RFM)、空間融合モジュール(SFM)、分散学習モジュール(DLM)の3つの効率的なモデルで構成されている。 我々のモデルは、MPIIテストデータセットで920.10%の精度を得、既存のモデルよりも大幅に改善され、最先端のパフォーマンスが確立された。
  論文  参考訳（メタデータ） (2023-11-09T12:43:01Z)
• Domain Adaptive Graph Neural Networks for Constraining Cosmological Parameters Across Multiple Data Sets [40.19690479537335]
  DA-GNNは,データセット間のタスクにおいて高い精度とロバスト性を実現する。 このことは、DA-GNNがドメインに依存しない宇宙情報を抽出するための有望な方法であることを示している。
  論文  参考訳（メタデータ） (2023-11-02T20:40:21Z)
• Source-Free Collaborative Domain Adaptation via Multi-Perspective Feature Enrichment for Functional MRI Analysis [55.03872260158717]
  安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。 ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。 しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。 我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
  論文  参考訳（メタデータ） (2023-08-24T01:30:18Z)
• Multimodal Remote Sensing Benchmark Datasets for Land Cover Classification with A Shared and Specific Feature Learning Model [36.993630058695345]
  マルチモーダルRSデータをモダリティ共有およびモダリティ固有成分に分解するための共有特徴学習(S2FL)モデルを提案する。 マルチモーダルベースラインと新たに提案されたS2FLモデルを評価するために、3つのマルチモーダルRSベンチマークデータセット、すなわちHouston2013 -- hyperspectral and multispectral data, Berlin -- hyperspectral and synthetic Aperture radar (SAR) data, Augsburg -- hyperspectral, SAR, digital surface model (DSM) dataがリリースされ、土地被覆分類に使用される。
  論文  参考訳（メタデータ） (2021-05-21T08:14:21Z)
• MTS-CycleGAN: An Adversarial-based Deep Mapping Learning Network for Multivariate Time Series Domain Adaptation Applied to the Ironmaking Industry [0.0]
  本研究は、特定の資産に基づく歴史的データ(ソース・ドメイン)を1つの参照資産(ターゲット・ドメイン)に対応するデータに変換することに焦点を当てる。 本稿では,CycleGAN に基づく多変量時系列データのアルゴリズム MTS-CycleGAN を提案する。 我々の貢献は、Long Short-Term Memory(LSTM)ベースのジェネレータと積み重ねLSTMベースの識別器のためのAutoEncoder(AE)のCycleGANアーキテクチャの統合である。
  論文  参考訳（メタデータ） (2020-07-15T07:33:25Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)
• MS-Net: Multi-Site Network for Improving Prostate Segmentation with Heterogeneous MRI Data [75.73881040581767]
  本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。 当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-02-09T14:11:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。