論文の概要: SatMamba: Development of Foundation Models for Remote Sensing Imagery Using State Space Models
- arxiv url: http://arxiv.org/abs/2502.00435v1
- Date: Sat, 01 Feb 2025 14:07:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 14:59:43.203374
- Title: SatMamba: Development of Foundation Models for Remote Sensing Imagery Using State Space Models
- Title（参考訳）: SatMamba:状態空間モデルを用いたリモートセンシング画像の基礎モデルの開発
- Authors: Chuc Man Duc, Hiromichi Fukui,
- Abstract要約: ファンデーションモデルは、自己教師付きアルゴリズムを通じて、大規模なラベル付けされていないデータセットで事前訓練されたディープラーニングモデルを指す。
リモートセンシングのための様々な基礎モデルが開発されている。
本研究では、マスク付きオートエンコーダとステートスペースモデルを組み合わせた新しい事前トレーニングフレームワークであるSatMambaを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Foundation models refer to deep learning models pretrained on large unlabeled datasets through self-supervised algorithms. In the Earth science and remote sensing communities, there is growing interest in transforming the use of Earth observation data, including satellite and aerial imagery, through foundation models. Various foundation models have been developed for remote sensing, such as those for multispectral, high-resolution, and hyperspectral images, and have demonstrated superior performance on various downstream tasks compared to traditional supervised models. These models are evolving rapidly, with capabilities to handle multispectral, multitemporal, and multisensor data. Most studies use masked autoencoders in combination with Vision Transformers (ViTs) as the backbone for pretraining. While the models showed promising performance, ViTs face challenges, such as quadratic computational scaling with input length, which may limit performance on multiband and multitemporal data with long sequences. This research aims to address these challenges by proposing SatMamba, a new pretraining framework that combines masked autoencoders with State Space Model, offering linear computational scaling. Experiments on high-resolution imagery across various downstream tasks show promising results, paving the way for more efficient foundation models and unlocking the full potential of Earth observation data. The source code is available in https://github.com/mdchuc/HRSFM.
- Abstract（参考訳）: ファンデーションモデルは、自己教師付きアルゴリズムを通じて、大規模なラベル付けされていないデータセットで事前訓練されたディープラーニングモデルを指す。
地球科学とリモートセンシングのコミュニティでは、衛星や空中画像を含む地球観測データの利用を基礎モデルを通じて変換することへの関心が高まっている。
マルチスペクトル、高分解能、ハイパースペクトル画像など、リモートセンシングのための様々な基礎モデルが開発されており、従来の教師付きモデルと比較して、下流の様々なタスクにおいて優れた性能を示している。
これらのモデルは急速に進化しており、マルチスペクトル、マルチテンポラル、マルチセンサーデータを扱うことができる。
ほとんどの研究では、マスク付きオートエンコーダとビジョントランスフォーマー(ViT)を併用して、事前トレーニングのバックボーンとして使用している。
モデルが有望な性能を示した一方で、ViTは入力長の2次計算スケーリングのような課題に直面し、長いシーケンスを持つマルチバンドデータやマルチテンポラルデータのパフォーマンスを制限する可能性がある。
この研究は、マスク付きオートエンコーダとステートスペースモデルを組み合わせた新しい事前トレーニングフレームワークであるSatMambaを提案し、線形計算スケーリングを提供することによって、これらの課題に対処することを目的としている。
様々な下流のタスクにわたる高解像度画像の実験は有望な結果を示し、より効率的な基礎モデルへの道を開いたり、地球観測データの完全な可能性を解き放ったりしている。
ソースコードはhttps://github.com/mdchuc/HRSFMで入手できる。
関連論文リスト
- SatVision-TOA: A Geospatial Foundation Model for Coarse-Resolution All-Sky Remote Sensing Imagery [8.096413986108601]
本稿では,14バンドMODIS L1B Top-Of-Atmosphere (TOA) を用いた新しい基礎モデルであるSatVision-TOAを紹介する。
SatVision-TOA モデルは Masked-Image-Modeling (MIM) フレームワークと SwinV2 アーキテクチャを使って事前訓練されている。
その結果、SatVision-TOAは、下流タスクのベースラインメソッドよりも優れたパフォーマンスを実現することがわかった。
論文 参考訳（メタデータ） (2024-11-26T00:08:00Z) - A Mamba Foundation Model for Time Series Forecasting [13.593170999506889]
本稿では,マンバアーキテクチャ上に構築された時系列予測のための線形複雑基盤モデルであるTSMambaを紹介する。
このモデルは、前方および後方のMambaエンコーダを通して時間的依存関係をキャプチャし、高い予測精度を達成する。
また、タスク固有の予測モデルと比較して、競争力や優れたフルショットパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-11-05T09:34:05Z) - Data-Juicer Sandbox: A Comprehensive Suite for Multimodal Data-Model Co-development [67.55944651679864]
統合データモデル共同開発に適した新しいサンドボックススイートを提案する。
このサンドボックスは包括的な実験プラットフォームを提供し、データとモデルの両方の迅速なイテレーションと洞察駆動による改善を可能にする。
また、徹底的なベンチマークから得られた実りある洞察を明らかにし、データ品質、多様性、モデル行動の間の重要な相互作用に光を当てています。
論文 参考訳（メタデータ） (2024-07-16T14:40:07Z) - ViTime: A Visual Intelligence-Based Foundation Model for Time Series Forecasting [38.87384888881476]
本稿では,時系列予測のためのビジュアルインテリジェンスに基づく新しい基礎モデルであるViTimeを提案する。
これまで目にしなかったさまざまな予測データセットの実験は、ViTimeが最先端のゼロショットパフォーマンスを達成することを実証している。
論文 参考訳（メタデータ） (2024-07-10T02:11:01Z) - Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
我々は,過去を前提とした将来のセンサ観測の課題を探求する。
マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。
我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
論文 参考訳（メタデータ） (2024-04-17T16:56:31Z) - Rethinking Transformers Pre-training for Multi-Spectral Satellite
Imagery [78.43828998065071]
教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。
このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。
本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
論文 参考訳（メタデータ） (2024-03-08T16:18:04Z) - SkySense: A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery [35.550999964460466]
本稿では,2150万の時間的シーケンスを持つマルチモーダルリモートセンシングデータセットを事前トレーニングした総称10億スケールモデルSkySenseを提案する。
我々の知る限り、SkySenseは今までで最大のマルチモーダルであり、モジュールを柔軟に組み合わせたり、個別に使用して様々なタスクに適合させることができる。
論文 参考訳（メタデータ） (2023-12-15T09:57:21Z) - DiffusionSat: A Generative Foundation Model for Satellite Imagery [63.2807119794691]
現在、DiffusionSatは、現在利用可能な大規模な高解像度リモートセンシングデータセットのコレクションに基づいてトレーニングされている、最大の生成基盤モデルである。
提案手法は, リアルタイムなサンプルを作成し, 時間生成, マルチスペクトル入力の超解像, インペイントなどの複数の生成課題を解くのに利用できる。
論文 参考訳（メタデータ） (2023-12-06T16:53:17Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳（メタデータ） (2021-07-15T02:53:11Z) - ViViT: A Video Vision Transformer [75.74690759089529]
ビデオ分類にpure-transformerベースのモデルを提案する。
本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。
トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
論文 参考訳（メタデータ） (2021-03-29T15:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。