論文の概要: SeaMo: A Multi-Seasonal and Multimodal Remote Sensing Foundation Model

• arxiv url: http://arxiv.org/abs/2412.19237v1
• Date: Thu, 26 Dec 2024 14:40:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:28:16.940260
• Title: SeaMo: A Multi-Seasonal and Multimodal Remote Sensing Foundation Model
• Title（参考訳）: SeaMo: マルチシーソンおよびマルチモーダルリモートセンシングファウンデーションモデル
• Authors: Xuyang Li, Danfeng Hong, Chenyu Li, Jocelyn Chanussot,
• Abstract要約: RS分野におけるマルチシーズン情報とマルチモーダル情報を統合する先駆的視覚基盤モデルSeaMoを提案する。 SeaMoはRSデータの多次元特性を明示的にモデル化し、モデルをより包括的で、堅牢で、多用途にする。
• 参考スコア（独自算出の注目度）: 39.38641232874326
• License:
• Abstract: Remote Sensing (RS) data contains a wealth of multi-dimensional information crucial for Earth observation. Owing to its vast volume, diverse sources, and temporal properties, RS data is highly suitable for the development of large Visual Foundation Models (VFMs). VFMs act as robust feature extractors, learning from extensive RS data, and are subsequently fine-tuned for deployment in various geoscientific tasks. However, current VFMs in the RS domain are predominantly pretrained and tailored exclusively for specific characteristics of RS imagery, neglecting the potential of utilizing the multi-dimensional properties of RS data. Therefore, in this work, we propose SeaMo, a pioneering visual foundation model that integrates multi-seasonal and multimodal information in the RS field. SeaMo is designed to harness multiple properties of RS data. Within the masked image modeling framework, we employ non-aligned cropping techniques to extract spatial properties, use multi-source inputs for multimodal integration, and incorporate temporal-multimodal fusion blocks for effective assimilation of multi-seasonal data. SeaMo explicitly models the multi-dimensional properties of RS data, making the model more comprehensive, robust, and versatile. We applied SeaMo to several downstream geoscience tasks, which demonstrated exceptional performance. Extensive ablation studies were conducted to validate the model's superiority.
• Abstract（参考訳）: リモートセンシング(RS)データには、地球観測に不可欠な多次元情報が含まれている。 膨大な量、多様な情報源、時間的特性のために、RSデータは大規模なVisual Foundation Models (VFM) の開発に非常に適している。 VFMは強靭な特徴抽出器として機能し、広範なRSデータから学習し、その後様々な地質学的タスクに展開するために微調整される。 しかし、RS領域の現在のVFMは、RSデータの多次元特性を利用する可能性を無視して、RS画像の特定の特性のために、主に事前訓練され、調整されている。 そこで本研究では,マルチシーズンおよびマルチモーダル情報をRS分野に統合した先駆的視覚基盤モデルSeaMoを提案する。 SeaMoはRSデータの複数の特性を利用するように設計されている。 マスク付き画像モデリングフレームワーク内では、空間特性の抽出、マルチモーダル統合のためのマルチソース入力、マルチソンデータの効率的な同化のための時間・マルチモーダル融合ブロックを組み込む非整列トリミング技術を用いている。 SeaMoはRSデータの多次元特性を明示的にモデル化し、モデルをより包括的で、堅牢で、多用途にする。 いくつかの下流地学課題にSeaMoを応用し,異常な性能を示した。 モデルの優越性を検証するために、広範囲にわたるアブレーション研究を行った。

関連論文リスト

• MANet: Fine-Tuning Segment Anything Model for Multimodal Remote Sensing Semantic Segmentation [8.443065903814821]
  本研究では,マルチモーダルリモートセマンティックセマンティックセマンティックセグメンテーションのための新しいマルチモーダルアダプタベースネットワーク(MANet)を提案する。 このアプローチのコアとなるのは、SAMのイメージエンコーダを微調整して、マルチモーダルデータに対するモデルの一般的な知識を効果的に活用するMultimodal Adapter(MMAdapter)の開発である。 この研究は、マルチモーダル核融合のための新しいネットワークを導入するだけでなく、SAMのDSM(Digital Surface Model)データによる強力な一般化能力も初めて示した。
  論文  参考訳（メタデータ） (2024-10-15T00:52:16Z)
• Data-Juicer Sandbox: A Comprehensive Suite for Multimodal Data-Model Co-development [67.55944651679864]
  統合データモデル共同開発に適した新しいサンドボックススイートを提案する。 このサンドボックスは包括的な実験プラットフォームを提供し、データとモデルの両方の迅速なイテレーションと洞察駆動による改善を可能にする。 また、徹底的なベンチマークから得られた実りある洞察を明らかにし、データ品質、多様性、モデル行動の間の重要な相互作用に光を当てています。
  論文  参考訳（メタデータ） (2024-07-16T14:40:07Z)
• RS-DFM: A Remote Sensing Distributed Foundation Model for Diverse Downstream Tasks [11.681342476516267]
  汎用情報マッピングとインタラクションに基づく分散センシング基礎モデル(RS-DFM)を提案する。 このモデルは、複数のプラットフォームにわたるオンライン協調認識と、さまざまな下流タスクを実現することができる。 本稿では、高周波・低周波特徴情報を分離するデュアルブランチ情報圧縮モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-11T07:46:47Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Source-Free Collaborative Domain Adaptation via Multi-Perspective Feature Enrichment for Functional MRI Analysis [55.03872260158717]
  安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。 ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。 しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。 我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
  論文  参考訳（メタデータ） (2023-08-24T01:30:18Z)
• Distilled Mid-Fusion Transformer Networks for Multi-Modal Human Activity Recognition [34.424960016807795]
  マルチモーダルなヒューマンアクティビティ認識は、補完的な情報を利用して、うまく一般化できるモデルを構築することができる。 深層学習法は有望な結果を示しており,有意な多モーダルな時空間特徴抽出の可能性は十分に検討されていない。 知識蒸留に基づくマルチモーダル・ミッドフュージョン・アプローチ(DMFT)を提案し,多モーダル・ヒューマンアクティビティ認識タスクを効率的に解決するために,情報的特徴抽出と融合を行う。
  論文  参考訳（メタデータ） (2023-05-05T19:26:06Z)
• Multimodal Remote Sensing Benchmark Datasets for Land Cover Classification with A Shared and Specific Feature Learning Model [36.993630058695345]
  マルチモーダルRSデータをモダリティ共有およびモダリティ固有成分に分解するための共有特徴学習(S2FL)モデルを提案する。 マルチモーダルベースラインと新たに提案されたS2FLモデルを評価するために、3つのマルチモーダルRSベンチマークデータセット、すなわちHouston2013 -- hyperspectral and multispectral data, Berlin -- hyperspectral and synthetic Aperture radar (SAR) data, Augsburg -- hyperspectral, SAR, digital surface model (DSM) dataがリリースされ、土地被覆分類に使用される。
  論文  参考訳（メタデータ） (2021-05-21T08:14:21Z)
• Shared Space Transfer Learning for analyzing multi-site fMRI data [83.41324371491774]
  マルチボクセルパターン解析(MVPA)は、タスクベース機能磁気共鳴画像(fMRI)データから予測モデルを学習する。 MVPAはよく設計された機能セットと十分なサンプルサイズで機能する。 ほとんどのfMRIデータセットはノイズが多く、高次元で、収集するのに高価で、サンプルサイズも小さい。 本稿では,新しい伝達学習手法として共有空間移動学習(SSTL)を提案する。
  論文  参考訳（メタデータ） (2020-10-24T08:50:26Z)
• MTS-CycleGAN: An Adversarial-based Deep Mapping Learning Network for Multivariate Time Series Domain Adaptation Applied to the Ironmaking Industry [0.0]
  本研究は、特定の資産に基づく歴史的データ(ソース・ドメイン)を1つの参照資産(ターゲット・ドメイン)に対応するデータに変換することに焦点を当てる。 本稿では,CycleGAN に基づく多変量時系列データのアルゴリズム MTS-CycleGAN を提案する。 我々の貢献は、Long Short-Term Memory(LSTM)ベースのジェネレータと積み重ねLSTMベースの識別器のためのAutoEncoder(AE)のCycleGANアーキテクチャの統合である。
  論文  参考訳（メタデータ） (2020-07-15T07:33:25Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。