論文の概要: SpectralX: Parameter-efficient Domain Generalization for Spectral Remote Sensing Foundation Models

• arxiv url: http://arxiv.org/abs/2508.01731v1
• Date: Sun, 03 Aug 2025 12:14:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.037299
• Title: SpectralX: Parameter-efficient Domain Generalization for Spectral Remote Sensing Foundation Models
• Title（参考訳）: スペクトルX:スペクトルリモートセンシング基礎モデルのためのパラメータ効率の良い領域一般化
• Authors: Yuxiang Zhang, Wei Li, Mengmeng Zhang, Jiawei Han, Ran Tao, Shunlin Liang,
• Abstract要約: SpectralXは、既存のRSFMをバックボーンとして適応する革新的なパラメータ効率の微調整フレームワークである。 AoMoA (Attribute-oriented Mixture of Adapter) を開発した。 低レベルのセマンティックな特徴を高レベルの表現で反復的にクエリすることで、モデルはタスク便益属性にフォーカスすることを学ぶ。
• 参考スコア（独自算出の注目度）: 27.717648142854696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Remote Sensing Foundation Models (RSFMs) have led to significant breakthroughs in the field. While many RSFMs have been pretrained with massive optical imagery, more multispectral/hyperspectral data remain lack of the corresponding foundation models. To leverage the advantages of spectral imagery in earth observation, we explore whether existing RSFMs can be effectively adapted to process diverse spectral modalities without requiring extensive spectral pretraining. In response to this challenge, we proposed SpectralX, an innovative parameter-efficient fine-tuning framework that adapt existing RSFMs as backbone while introducing a two-stage training approach to handle various spectral inputs, thereby significantly improving domain generalization performance. In the first stage, we employ a masked-reconstruction task and design a specialized Hyper Tokenizer (HyperT) to extract attribute tokens from both spatial and spectral dimensions. Simultaneously, we develop an Attribute-oriented Mixture of Adapter (AoMoA) that dynamically aggregates multi-attribute expert knowledge while performing layer-wise fine-tuning. With semantic segmentation as downstream task in the second stage, we insert an Attribute-refined Adapter (Are-adapter) into the first stage framework. By iteratively querying low-level semantic features with high-level representations, the model learns to focus on task-beneficial attributes, enabling customized adjustment of RSFMs. Following this two-phase adaptation process, SpectralX is capable of interpreting spectral imagery from new regions or seasons. The codes will be available from the website: https://github.com/YuxiangZhang-BIT.
• Abstract（参考訳）: リモートセンシング基礎モデル(RSFM)の最近の進歩は、この分野に大きなブレークスルーをもたらした。 多くのRSFMは大規模な光学画像で事前訓練されているが、より多スペクトル/ハイパースペクトルのデータには対応する基礎モデルがない。 地球観測におけるスペクトル画像の利点を活用するために,既存のRSFMがスペクトル事前学習を必要とせず,多様なスペクトル変調処理に効果的に適応できるかどうかを検討する。 この課題に対応するために,既存のRSFMをバックボーンとして適用し,様々なスペクトル入力を処理するための2段階のトレーニングアプローチを導入し,ドメインの一般化性能を大幅に向上させる,革新的なパラメータ効率の微調整フレームワークであるSpectralXを提案する。 最初の段階ではマスク付き再構成タスクを採用し、空間次元とスペクトル次元の両方から属性トークンを抽出するためにHyper Tokenizer (HyperT) を設計する。 同時に,多属性専門家の知識を動的に集約し,階層的に微調整を行うAttribute-oriented Mixture of Adapter (AoMoA) を開発した。 セマンティックセグメンテーションを第2段階のダウンストリームタスクとして,第1段階のフレームワークにAttribute-refined Adapter(Are-adapter)を挿入する。 低レベルのセマンティックな特徴を高レベルな表現で反復的にクエリすることで、RSFMのカスタマイズ可能なタスク便益属性にフォーカスすることを学ぶ。 この2段階の適応プロセスの後、SpectralXは新しい地域や季節からのスペクトル像を解釈することができる。 コードはWebサイトから入手できる: https://github.com/YuxiangZhang-BIT。

関連論文リスト

• SpectrumFM: A New Paradigm for Spectrum Cognition [65.65474629224558]
  本稿ではスペクトル認識のための新しいパラダイムを提供するスペクトルFMと呼ばれるスペクトル基盤モデルを提案する。 畳み込みニューラルネットワークを利用した革新的なスペクトルエンコーダを提案し、スペクトルデータにおける微細な局所信号構造と高レベルのグローバルな依存関係の両方を効果的に捕捉する。 2つの新しい自己教師型学習タスク、すなわちマスク付き再構成と次のスロット信号予測が、SpectrumFMの事前学習のために開発され、モデルがリッチで伝達可能な表現を学習できるようにする。
  論文  参考訳（メタデータ） (2025-08-02T14:40:50Z)
• AuxDet: Auxiliary Metadata Matters for Omni-Domain Infrared Small Target Detection [58.67129770371016]
  シーン認識最適化のためのテキストメタデータを組み込むことにより、IRSTDパラダイムを再定義する新しいIRSTDフレームワークを提案する。 AuxDetは最先端の手法を一貫して上回り、堅牢性と正確性を改善する上で補助情報の重要な役割を検証している。
  論文  参考訳（メタデータ） (2025-05-21T07:02:05Z)
• Dual-Domain Masked Image Modeling: A Self-Supervised Pretraining Strategy Using Spatial and Frequency Domain Masking for Hyperspectral Data [35.34526230299484]
  本稿では,ラベルなしデータの大部分を利用するハイパースペクトルデータに対する自己教師付き事前学習戦略を提案する。 本稿では,空間領域と周波数領域の両方で動作する新しい二重ドメインマスキング機構を提案する。 提案手法を3つの公開HSI分類ベンチマークで評価し,現状の性能を実証した。
  論文  参考訳（メタデータ） (2025-05-06T06:24:21Z)
• SpectrumFM: A Foundation Model for Intelligent Spectrum Management [99.08036558911242]
  既存のインテリジェントスペクトル管理手法は、通常は小規模モデルに基づいており、認識精度、収束速度、一般化の顕著な制限に悩まされている。 本稿では、スペクトルFMと呼ばれる新しいスペクトル基盤モデルを提案し、スペクトル管理のための新しいパラダイムを確立する。 実験により、SpectrumFMは精度、堅牢性、適応性、少数ショット学習効率、収束速度の点で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-05-02T04:06:39Z)
• Spectral-Adaptive Modulation Networks for Visual Perception [9.912286808419205]
  グラフスペクトル分析を用いて、2次元畳み込みと自己意図の周波数応答を理論的にシミュレートし比較する。 以上の結果から,ウィンドウサイズによって変調されたノード接続が,スペクトル関数形成の鍵となる要因であることが判明した。 SPAMに基づいて,新しいビジョンバックボーンとしてSPANetV2を開発した。
  論文  参考訳（メタデータ） (2025-03-31T10:53:42Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• DiffSpectralNet : Unveiling the Potential of Diffusion Models for Hyperspectral Image Classification [6.521187080027966]
  我々は拡散と変圧器技術を組み合わせたDiffSpectralNetと呼ばれる新しいネットワークを提案する。 まず,拡散モデルに基づく教師なし学習フレームワークを用いて,高レベル・低レベルのスペクトル空間的特徴を抽出する。 この拡散法はスペクトル空間の特徴を多様かつ有意義に抽出し,HSI分類の改善につながる。
  論文  参考訳（メタデータ） (2023-10-29T15:26:37Z)
• Dynamic Spectrum Mixer for Visual Recognition [17.180863898764194]
  動的スペクトルミキサー (DSM) という,コンテンツ適応型だが計算効率のよい構造を提案する。 DSMはコサイン変換を用いて周波数領域におけるトークンの相互作用を表す。 ログ線形複雑性で長期空間依存を学習することができる。
  論文  参考訳（メタデータ） (2023-09-13T04:51:15Z)
• MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction [148.26195175240923]
  効率的なスペクトル再構成のためのマルチステージスペクトル変換器(MST++)を提案する。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。
  論文  参考訳（メタデータ） (2022-04-17T02:39:32Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。