論文の概要: SpectralEarth-FM: Bringing Hyperspectral Imagery into Multimodal Earth Observation Pretraining

• arxiv url: http://arxiv.org/abs/2605.21075v1
• Date: Wed, 20 May 2026 12:08:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.655663
• Title: SpectralEarth-FM: Bringing Hyperspectral Imagery into Multimodal Earth Observation Pretraining
• Title（参考訳）: スペクトラルアースFM:マルチモーダル地球観測事前訓練にハイパースペクトル画像をもたらす
• Authors: Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu,
• Abstract要約: 異種スペクトル次元を持つマルチセンサEO入力のための階層変換器であるSpectralEarth-FMを紹介する。 SpectralEarth-FMを事前訓練するために、3つの衛星搭載センサーからHSIを同時配置するデータセットであるSpectralEarth-MMをキュレートする。 我々は、PANGAEAプロトコルに従って、ハイパースペクトルダウンストリームタスクと標準EOベンチマークのSpectralEarth-FMを評価する。
• 参考スコア（独自算出の注目度）: 39.65346191345367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Earth observation (EO) foundation models (FMs) are increasingly trained on multisensor data, spanning multispectral imagery (MSI), synthetic aperture radar (SAR), and derived geospatial layers, but hyperspectral imagery (HSI) remains underrepresented. Conversely, existing hyperspectral FMs are trained on HSI alone, leaving joint pretraining and fusion of HSI with co-located EO sensors unexplored. We introduce SpectralEarth-FM, a hierarchical transformer for multisensor EO input with heterogeneous spectral dimensionality. The architecture combines spectral tokenization for hyperspectral inputs, sensor-specific encoders, a cross-sensor fusion module, and a shared hierarchical encoder, enabling joint processing of HSI and lower-channel observations. To pretrain SpectralEarth-FM, we curate SpectralEarth-MM, a dataset that co-locates HSI from three spaceborne sensors (EnMAP, EMIT, DESIS) with Sentinel-2, Landsat-8/9 optical imagery, Landsat land surface temperature (LST), and Sentinel-1 SAR, over common geographic footprints. It comprises approximately 2M globally distributed locations, 25M georeferenced patches, and over 40TB of data. Pretraining uses a Joint-Embedding Predictive Architecture (JEPA)-style objective that matches representations between global views and single-sensor local views from the same location. We evaluate SpectralEarth-FM on hyperspectral downstream tasks and standard EO benchmarks following the PANGAEA protocol, achieving state-of-the-art results across both evaluation settings.
• Abstract（参考訳）: 地球観測(EO)基礎モデル(FM)は、マルチスペクトル画像(MSI)、合成開口レーダ(SAR)、誘導地理空間層にまたがるマルチセンサデータでますます訓練されているが、ハイパースペクトル画像(HSI)はいまだに不足している。 逆に、既存のハイパースペクトルFMはHSIだけで訓練されており、HSIと共同位置のEOセンサーの融合は未調査のままである。 異種スペクトル次元を持つマルチセンサEO入力のための階層変換器であるSpectralEarth-FMを紹介する。 このアーキテクチャは、ハイパースペクトル入力のためのスペクトルトークン化、センサー固有のエンコーダ、クロスセンサー融合モジュール、および共有階層エンコーダを組み合わせて、HSIと低チャネル観測の共同処理を可能にする。 SpectralEarth-FMをプリトレーニングするために、衛星搭載センサー(EnMAP, EMIT, DESIS)とSentinel-2、Landsat-8/9光画像、LST、Sentinel-1 SARの3つのHSIを併用したデータセットであるSpectralEarth-MMを解析した。 約200万のグローバルなロケーション、25万のジオリファレンスパッチ、40TB以上のデータで構成されている。 PretrainingはJEPA(Joint-Embedding Predictive Architecture)スタイルの目標を使用しており、グローバルビューと同一場所からのシングルセンサーローカルビューの表現にマッチする。 我々は、PANGAEAプロトコルに従って、ハイパースペクトルダウンストリームタスクと標準EOベンチマークに基づいてSpectralEarth-FMを評価し、両方の評価設定で最先端の結果を得る。

関連論文リスト

• CrossEarth-SAR: A SAR-Centric and Billion-Scale Geospatial Foundation Model for Domain Generalizable Semantic Segmentation [51.94680303125737]
  我々は、新しい物理誘導型スパース・オブ・エキスパート(MoE)アーキテクチャに基づいて構築された、最初の10億ドル規模のSARビジョン基盤モデルであるCrossEarth-SARを紹介する。 大規模な事前トレーニングを容易にするために,公共およびプライベートなSAR画像を統合する弱く完全に教師付きデータセットであるCrossEarth-SAR-200Kを開発した。 また、8つの異なる領域ギャップをまたいだ22のサブベンチマークからなるベンチマークスイートを導入し、SAR画像上でのドメイン一般化セマンティックセマンティックセグメンテーションのための最初の統一標準を確立した。
  論文  参考訳（メタデータ） (2026-03-12T14:52:35Z)
• TerraMAE: Learning Spatial-Spectral Representations from Hyperspectral Earth Observation Data via Adaptive Masked Autoencoders [1.1999555634662633]
  多様な地理空間解析のための空間スペクトル埋め込みを高度に代表的に学習するために設計された新しいHSI符号化フレームワークTerraMAEを紹介する。 高忠実度画像再構成における空間-スペクトル情報保存によるその効果を実証する。
  論文  参考訳（メタデータ） (2025-08-09T15:32:22Z)
• TerraFM: A Scalable Foundation Model for Unified Multisensor Earth Observation [65.74990259650984]
  本研究では,グローバルに分散したSentinel-1とSentinel-2画像を利用する,スケーラブルな自己教師型学習モデルTerraFMを紹介する。 我々のトレーニング戦略は、局所的・言語的コントラスト学習を統合し、二重中心化機構を導入する。 TerraFMは分類タスクとセグメンテーションタスクの両方において強力な一般化を実現し、GEO-BenchとCopernicus-Benchの先行モデルよりも優れている。
  論文  参考訳（メタデータ） (2025-06-06T17:59:50Z)
• EarthMind: Leveraging Cross-Sensor Data for Advanced Earth Observation Interpretation with a Unified Multimodal LLM [103.7537991413311]
  地球観測(EO)データ分析は、環境と人間の動態のモニタリングに不可欠である。 最近のMultimodal Large Language Models (MLLM) は、EO理解の可能性を秘めているが、シングルセンサー入力に限定されている。 我々は、シングルセンサーとクロスセンサーの両方の入力を処理する統合視覚言語フレームワークであるEarthMindを提案する。
  論文  参考訳（メタデータ） (2025-06-02T13:36:05Z)
• SpectralEarth: Training Hyperspectral Foundation Models at Scale [47.93167977587301]
  ハイパースペクトル基礎モデルの事前学習を目的とした大規模マルチテンポラルデータセットであるSpectralEarthを紹介する。 我々はSpectralEarthの一連の基礎モデルを事前訓練し、古典的な視覚バックボーンにスペクトルアダプタを統合する。 タンデムでは、土地被覆、作物型マッピング、樹木種分類のための9つの下流データセットを構築した。
  論文  参考訳（メタデータ） (2024-08-15T22:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。