論文の概要: SpectralEarth: Training Hyperspectral Foundation Models at Scale

• arxiv url: http://arxiv.org/abs/2408.08447v1
• Date: Thu, 15 Aug 2024 22:55:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 16:59:46.099642
• Title: SpectralEarth: Training Hyperspectral Foundation Models at Scale
• Title（参考訳）: SpectralEarth: ハイパースペクトルの基礎モデルを大規模にトレーニングする
• Authors: Nassim Ait Ali Braham, Conrad M Albrecht, Julien Mairal, Jocelyn Chanussot, Yi Wang, Xiao Xiang Zhu,
• Abstract要約: ハイパースペクトル基礎モデルの事前学習を目的とした大規模マルチ時間データセットであるSpectralEarthを紹介する。 我々は、最先端の自己教師付き学習(SSL)アルゴリズムを用いて、SpectralEarthの一連の基礎モデルを事前訓練する。 我々は、土地被覆と収穫型マッピングのための4つの下流データセットを構築し、モデル評価のためのベンチマークを提供する。
• 参考スコア（独自算出の注目度）: 47.93167977587301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models have triggered a paradigm shift in computer vision and are increasingly being adopted in remote sensing, particularly for multispectral imagery. Yet, their potential in hyperspectral imaging (HSI) remains untapped due to the absence of comprehensive and globally representative hyperspectral datasets. To close this gap, we introduce SpectralEarth, a large-scale multi-temporal dataset designed to pretrain hyperspectral foundation models leveraging data from the Environmental Mapping and Analysis Program (EnMAP). SpectralEarth comprises 538,974 image patches covering 415,153 unique locations from more than 11,636 globally distributed EnMAP scenes spanning two years of archive. Additionally, 17.5% of these locations include multiple timestamps, enabling multi-temporal HSI analysis. Utilizing state-of-the-art self-supervised learning (SSL) algorithms, we pretrain a series of foundation models on SpectralEarth. We integrate a spectral adapter into classical vision backbones to accommodate the unique characteristics of HSI. In tandem, we construct four downstream datasets for land-cover and crop-type mapping, providing benchmarks for model evaluation. Experimental results support the versatility of our models, showcasing their generalizability across different tasks and sensors. We also highlight computational efficiency during model fine-tuning. The dataset, models, and source code will be made publicly available.
• Abstract（参考訳）: ファンデーションモデルはコンピュータビジョンのパラダイムシフトを引き起こし、リモートセンシング、特にマルチスペクトル画像に採用されつつある。 しかし、そのハイパースペクトルイメージング(HSI)の可能性は、包括的でグローバルに代表されるハイパースペクトルデータセットが欠如していることから、未解決のままである。 このギャップを埋めるために,環境マッピング・分析プログラム(EnMAP)のデータを活用するハイパースペクトル基盤モデルの事前学習を目的とした,大規模なマルチ時間データセットであるSpectralEarthを紹介した。 SpectralEarthは、538,974枚の画像のパッチで、415,153個のユニークな場所をカバーしている。 さらに、これらの場所の17.5%は複数のタイムスタンプを含んでおり、複数の時間的HSI分析を可能にしている。 最先端の自己教師付き学習(SSL)アルゴリズムを利用することで、SpectralEarth上で一連の基礎モデルを事前訓練する。 我々は、スペクトルアダプタを古典的な視覚バックボーンに統合し、HSIのユニークな特性に対応する。 タンデムでは、土地被覆と作物型マッピングのための4つの下流データセットを構築し、モデル評価のためのベンチマークを提供する。 実験結果は、我々のモデルの汎用性をサポートし、様々なタスクやセンサーにまたがる一般化性を示す。 また、モデル微調整時の計算効率も強調する。 データセット、モデル、ソースコードが公開されている。

関連論文リスト

• Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation [48.66623377464203]
  我々の新しいアプローチは、脳科学における神経可塑性の概念を活用する、ダイナミックワンフォーオール(DOFA)モデルを導入している。 このダイナミックなハイパーネットワークは、異なる波長に調整され、5つのセンサーのデータに基づいて1つの多目的トランスフォーマーを共同で訓練し、12の異なる地球観測タスクを遂行することを可能にする。
  論文  参考訳（メタデータ） (2024-03-22T17:11:47Z)
• SkySense: A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery [35.550999964460466]
  本稿では,2150万の時間的シーケンスを持つマルチモーダルリモートセンシングデータセットを事前トレーニングした総称10億スケールモデルSkySenseを提案する。 我々の知る限り、SkySenseは今までで最大のマルチモーダルであり、モジュールを柔軟に組み合わせたり、個別に使用して様々なタスクに適合させることができる。
  論文  参考訳（メタデータ） (2023-12-15T09:57:21Z)
• Raising the Bar of AI-generated Image Detection with CLIP [50.345365081177555]
  本研究の目的は、AI生成画像の普遍的検出のための事前学習された視覚言語モデル(VLM)の可能性を探ることである。 我々は,CLIP機能に基づく軽量な検出戦略を開発し,その性能を様々な難易度シナリオで検証する。
  論文  参考訳（メタデータ） (2023-11-30T21:11:20Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
  本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。 我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
  論文  参考訳（メタデータ） (2023-10-28T10:19:55Z)
• Concept Drift and Long-Tailed Distribution in Fine-Grained Visual Categorization: Benchmark and Method [84.68818879525568]
  コンセプションドリフトとLong-Tailed Distributionデータセットを提案する。 インスタンスの特徴は時間によって異なり、長い尾の分布を示す傾向がある。 本稿ではCDLTに関連する学習課題に対処する機能組換えフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-04T12:42:45Z)
• Deep Autoregressive Models with Spectral Attention [74.08846528440024]
  本稿では,深部自己回帰モデルとスペクトル注意(SA)モジュールを組み合わせた予測アーキテクチャを提案する。 時系列の埋め込みをランダムなプロセスの発生としてスペクトル領域に特徴付けることにより,グローバルな傾向と季節パターンを同定することができる。 時系列に対するグローバルとローカルの2つのスペクトルアテンションモデルは、この情報を予測の中に統合し、スペクトルフィルタリングを行い、時系列のノイズを除去する。
  論文  参考訳（メタデータ） (2021-07-13T11:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。