論文の概要: Local Precise Refinement: A Dual-Gated Mixture-of-Experts for Enhancing Foundation Model Generalization against Spectral Shifts
- arxiv url: http://arxiv.org/abs/2603.13352v1
- Date: Sun, 08 Mar 2026 04:53:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.111718
- Title: Local Precise Refinement: A Dual-Gated Mixture-of-Experts for Enhancing Foundation Model Generalization against Spectral Shifts
- Title(参考訳): 局所的精密リファインメント:スペクトルシフトに対する基礎モデル一般化を促進するための二重ゲージ混合実験
- Authors: Xi Chen, Maojun Zhang, Yu Liu, Shen Yan,
- Abstract要約: スペクトルリモートセンシングにおけるドメイン一般化セマンティック(DGSS)は、様々な取得条件のスペクトルシフトによって深刻な課題となる。
本稿では,DGSSのための新しいPEFTフレームワークであるSpectralMoEを提案する。
- 参考スコア(独自算出の注目度): 26.40090723572808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain Generalization Semantic Segmentation (DGSS) in spectral remote sensing is severely challenged by spectral shifts across diverse acquisition conditions, which cause significant performance degradation for models deployed in unseen domains. While Parameter-Efficient Fine-Tuning (PEFT) on foundation models is a promising direction, existing methods employ global, homogeneous adjustments. This "one-size-fits-all" tuning struggles with the spatial heterogeneity of land cover, causing semantic confusion. We argue that the key to robust DGSS lies not in a single global adaptation, but in performing fine-grained, spatially-adaptive refinement of a foundation model's features. To achieve this, we propose SpectralMoE, a novel PEFT framework for DGSS. It operationalizes this principle by utilizing a Mixture-of-Experts (MoE) architecture to perform local precise refinement on the foundation model's features, incorporating depth features estimated from selected RGB bands of the spectral remote sensing imagery to guide the fine-tuning process. Specifically, SpectralMoE employs a dual-gated MoE architecture that independently routes visual and depth features to top-k selected experts for specialized refinement, enabling modality-specific adjustments. A subsequent cross-attention mechanism then judiciously fuses the refined structural cues into the visual stream, mitigating semantic ambiguities caused by spectral variations. Extensive experiments show that SpectralMoE sets a new state-of-the-art on multiple DGSS benchmarks across hyperspectral, multispectral, and RGB remote sensing imagery.
- Abstract(参考訳): スペクトルリモートセンシングにおけるドメイン一般化セマンティックセマンティックセグメンテーション (DGSS) は、様々な取得条件のスペクトルシフトによって深刻な課題に直面する。
基礎モデル上でのパラメータ効率の良いファインチューニング(PEFT)は有望な方向であるが、既存の手法ではグローバルな均一な調整が採用されている。
この「ワンサイズフィット・オール」チューニングは、土地被覆の空間的不均一性に苦慮し、意味的な混乱を引き起こした。
我々は、ロバストなDGSSの鍵は、単一のグローバルな適応ではなく、基礎モデルの特徴をきめ細かな空間的に適応的に洗練することにあると主張している。
そこで我々は,DGSSのための新しいPEFTフレームワークであるSpectralMoEを提案する。
この原理は、Mixture-of-Experts (MoE)アーキテクチャを用いて基礎モデルの特徴を局所的に精密に洗練し、スペクトルリモートセンシング画像から選択したRGBバンドから推定した深度特性を取り入れて微調整プロセスの導出を行う。
具体的には、SpectralMoEはデュアルゲートのMoEアーキテクチャを使用しており、視覚的特徴と深度的特徴を特別に洗練するためにトップkの専門家に独立にルートし、モダリティ固有の調整を可能にする。
その後のクロスアテンション機構は、洗練された構造的手がかりを視覚の流れに和らげ、スペクトル変動によって生じる意味的曖昧さを緩和する。
大規模な実験により、SpectralMoEはハイパースペクトル、マルチスペクトル、RGBリモートセンシング画像にまたがる複数のDGSSベンチマークに新しい最先端の画像を設定している。
関連論文リスト
- SR$^{2}$-Net: A General Plug-and-Play Model for Spectral Refinement in Hyperspectral Image Super-Resolution [3.4888894498274747]
HSI-SRは、スペクトル的に忠実で物理的に妥当な特性を維持しながら、空間分解能を高めることを目的としている。
これらの方法はしばしばバンド間のスペクトルの一貫性を無視し、刺激的な振動と物理的に不可解な人工物をもたらす。
本稿では,この問題に対処するための軽量なプラグ・アンド・プレイ方式であるSpectral Rectification Super-Resolution Network (SR$2$-Net)を提案する。
論文 参考訳(メタデータ) (2026-01-29T07:00:00Z) - Any-Optical-Model: A Universal Foundation Model for Optical Remote Sensing [24.03278912134978]
我々は任意のバンド構成、センサタイプ、解像度スケールに対応するためのAOM(Any Optical Model)を提案する。
AOMは、バンド不足、クロスセンサー、クロス解像度設定といった困難な条件下で、常に最先端(SOTA)性能を達成する。
論文 参考訳(メタデータ) (2025-12-19T04:21:01Z) - Hybrid Deep Learning for Hyperspectral Single Image Super-Resolution [9.467214671383875]
本稿では,標準的な2次元畳み込みアーキテクチャにシームレスに統合可能な新しいモジュールであるSpectral-Spatial Unmixing Fusion (SSUF)を紹介する。
SSUFはスペクトルアンミックスとスペクトル空間特徴抽出を組み合わせ、ResNetベースの畳み込みニューラルネットワークを誘導して再構成を改善する。
3つのパブリックリモートセンシングハイパースペクトルデータセットの実験は、提案したハイブリッドディープラーニングモデルが競合性能を達成することを示す。
論文 参考訳(メタデータ) (2025-09-26T08:28:07Z) - SpectralX: Parameter-efficient Domain Generalization for Spectral Remote Sensing Foundation Models [27.717648142854696]
SpectralXは、既存のRSFMをバックボーンとして適応する革新的なパラメータ効率の微調整フレームワークである。
AoMoA (Attribute-oriented Mixture of Adapter) を開発した。
低レベルのセマンティックな特徴を高レベルの表現で反復的にクエリすることで、モデルはタスク便益属性にフォーカスすることを学ぶ。
論文 参考訳(メタデータ) (2025-08-03T12:14:38Z) - SpectrumFM: Redefining Spectrum Cognition via Foundation Modeling [65.65474629224558]
本稿ではスペクトル認識のための新しいパラダイムを提供するスペクトルFMと呼ばれるスペクトル基盤モデルを提案する。
畳み込みニューラルネットワークを利用した革新的なスペクトルエンコーダを提案し、スペクトルデータにおける微細な局所信号構造と高レベルのグローバルな依存関係の両方を効果的に捕捉する。
2つの新しい自己教師型学習タスク、すなわちマスク付き再構成と次のスロット信号予測が、SpectrumFMの事前学習のために開発され、モデルがリッチで伝達可能な表現を学習できるようにする。
論文 参考訳(メタデータ) (2025-08-02T14:40:50Z) - Generalizable Multispectral Land Cover Classification via Frequency-Aware Mixture of Low-Rank Token Experts [22.75047167955269]
マルチスペクトル土地被覆分類(MLCC)の新しいアプローチであるLand-MoEを紹介する。
Land-MoEは、低ランクトークンエキスパート(MoLTE)と周波数認識フィルタ(FAF)の2つの重要なモジュールから構成される。
論文 参考訳(メタデータ) (2025-05-20T08:52:28Z) - CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [69.02751635551724]
スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。
スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。
本稿では,RGB,マルチスペクトル,ハイパースペクトル画像を用いたカメラ非依存表現学習モデルCARLを紹介する。
論文 参考訳(メタデータ) (2025-04-27T13:06:40Z) - Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。
局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。
グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
論文 参考訳(メタデータ) (2025-01-02T15:14:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。