論文の概要: Local Precise Refinement: A Dual-Gated Mixture-of-Experts for Enhancing Foundation Model Generalization against Spectral Shifts
- arxiv url: http://arxiv.org/abs/2603.13352v1
- Date: Sun, 08 Mar 2026 04:53:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.111718
- Title: Local Precise Refinement: A Dual-Gated Mixture-of-Experts for Enhancing Foundation Model Generalization against Spectral Shifts
- Title（参考訳）: 局所的精密リファインメント:スペクトルシフトに対する基礎モデル一般化を促進するための二重ゲージ混合実験
- Abstract要約: スペクトルリモートセンシングにおけるドメイン一般化セマンティック(DGSS)は、様々な取得条件のスペクトルシフトによって深刻な課題となる。
本稿では,DGSSのための新しいPEFTフレームワークであるSpectralMoEを提案する。
- 参考スコア（独自算出の注目度）: 26.40090723572808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain Generalization Semantic Segmentation (DGSS) in spectral remote sensing is severely challenged by spectral shifts across diverse acquisition conditions, which cause significant performance degradation for models deployed in unseen domains. While Parameter-Efficient Fine-Tuning (PEFT) on foundation models is a promising direction, existing methods employ global, homogeneous adjustments. This "one-size-fits-all" tuning struggles with the spatial heterogeneity of land cover, causing semantic confusion. We argue that the key to robust DGSS lies not in a single global adaptation, but in performing fine-grained, spatially-adaptive refinement of a foundation model's features. To achieve this, we propose SpectralMoE, a novel PEFT framework for DGSS. It operationalizes this principle by utilizing a Mixture-of-Experts (MoE) architecture to perform local precise refinement on the foundation model's features, incorporating depth features estimated from selected RGB bands of the spectral remote sensing imagery to guide the fine-tuning process. Specifically, SpectralMoE employs a dual-gated MoE architecture that independently routes visual and depth features to top-k selected experts for specialized refinement, enabling modality-specific adjustments. A subsequent cross-attention mechanism then judiciously fuses the refined structural cues into the visual stream, mitigating semantic ambiguities caused by spectral variations. Extensive experiments show that SpectralMoE sets a new state-of-the-art on multiple DGSS benchmarks across hyperspectral, multispectral, and RGB remote sensing imagery.
- Abstract（参考訳）: スペクトルリモートセンシングにおけるドメイン一般化セマンティックセマンティックセグメンテーション (DGSS) は、様々な取得条件のスペクトルシフトによって深刻な課題に直面する。
基礎モデル上でのパラメータ効率の良いファインチューニング(PEFT)は有望な方向であるが、既存の手法ではグローバルな均一な調整が採用されている。
この「ワンサイズフィット・オール」チューニングは、土地被覆の空間的不均一性に苦慮し、意味的な混乱を引き起こした。
我々は、ロバストなDGSSの鍵は、単一のグローバルな適応ではなく、基礎モデルの特徴をきめ細かな空間的に適応的に洗練することにあると主張している。
そこで我々は,DGSSのための新しいPEFTフレームワークであるSpectralMoEを提案する。
この原理は、Mixture-of-Experts (MoE)アーキテクチャを用いて基礎モデルの特徴を局所的に精密に洗練し、スペクトルリモートセンシング画像から選択したRGBバンドから推定した深度特性を取り入れて微調整プロセスの導出を行う。
具体的には、SpectralMoEはデュアルゲートのMoEアーキテクチャを使用しており、視覚的特徴と深度的特徴を特別に洗練するためにトップkの専門家に独立にルートし、モダリティ固有の調整を可能にする。
その後のクロスアテンション機構は、洗練された構造的手がかりを視覚の流れに和らげ、スペクトル変動によって生じる意味的曖昧さを緩和する。
大規模な実験により、SpectralMoEはハイパースペクトル、マルチスペクトル、RGBリモートセンシング画像にまたがる複数のDGSSベンチマークに新しい最先端の画像を設定している。
関連論文リスト
- MSP-Net: Manifold-Guided Spectral Prompt Network for Hyperspectral Object Tracking [11.03462046191901]
ハイパースペクトルオブジェクトトラッキングは、複雑なシーンにおけるターゲット識別にユニークな利点を提供する。
既存の方法は、高スペクトル画像をRGB画像のマルチチャネル拡張として扱い、固定帯域順序で特徴融合を行う。
マニフォールド誘導分光プロンプトネットワーク(MSP-Net)を提案する。
HOT2020 と HOT2023 の実験では、MSP-Net は AUC と Precision をそれぞれ 0.80 と 0.96 を超える精度で達成している。
論文 参考訳（メタデータ） (2026-08-10T13:09:25Z) - Spectral Property-Driven Data Augmentation for Hyperspectral Single-Source Domain Generalization [13.335941336922446]
ハイパースペクトル画像は、分類のための豊富な情報を提供する多くのスペクトルチャネルの恩恵を受ける。
次元の増大とセンサーの変動により、ドメイン間の分布の差異に敏感になる。
本研究では, スペクトル特性駆動型データ拡張法(SPDDA)を提案する。
論文 参考訳（メタデータ） (2026-03-17T15:30:28Z) - SR$^{2}$-Net: A General Plug-and-Play Model for Spectral Refinement in Hyperspectral Image Super-Resolution [3.4888894498274747]
HSI-SRは、スペクトル的に忠実で物理的に妥当な特性を維持しながら、空間分解能を高めることを目的としている。
これらの方法はしばしばバンド間のスペクトルの一貫性を無視し、刺激的な振動と物理的に不可解な人工物をもたらす。
本稿では,この問題に対処するための軽量なプラグ・アンド・プレイ方式であるSpectral Rectification Super-Resolution Network (SR$2$-Net)を提案する。
論文 参考訳（メタデータ） (2026-01-29T07:00:00Z) - Any-Optical-Model: A Universal Foundation Model for Optical Remote Sensing [24.03278912134978]
我々は任意のバンド構成、センサタイプ、解像度スケールに対応するためのAOM(Any Optical Model)を提案する。
AOMは、バンド不足、クロスセンサー、クロス解像度設定といった困難な条件下で、常に最先端(SOTA)性能を達成する。
論文 参考訳（メタデータ） (2025-12-19T04:21:01Z) - Hybrid Deep Learning for Hyperspectral Single Image Super-Resolution [9.467214671383875]
本稿では,標準的な2次元畳み込みアーキテクチャにシームレスに統合可能な新しいモジュールであるSpectral-Spatial Unmixing Fusion (SSUF)を紹介する。
SSUFはスペクトルアンミックスとスペクトル空間特徴抽出を組み合わせ、ResNetベースの畳み込みニューラルネットワークを誘導して再構成を改善する。
3つのパブリックリモートセンシングハイパースペクトルデータセットの実験は、提案したハイブリッドディープラーニングモデルが競合性能を達成することを示す。
論文 参考訳（メタデータ） (2025-09-26T08:28:07Z) - SpectralX: Parameter-efficient Domain Generalization for Spectral Remote Sensing Foundation Models [27.717648142854696]
SpectralXは、既存のRSFMをバックボーンとして適応する革新的なパラメータ効率の微調整フレームワークである。
AoMoA (Attribute-oriented Mixture of Adapter) を開発した。
低レベルのセマンティックな特徴を高レベルの表現で反復的にクエリすることで、モデルはタスク便益属性にフォーカスすることを学ぶ。
論文 参考訳（メタデータ） (2025-08-03T12:14:38Z) - SpectrumFM: Redefining Spectrum Cognition via Foundation Modeling [65.65474629224558]
本稿ではスペクトル認識のための新しいパラダイムを提供するスペクトルFMと呼ばれるスペクトル基盤モデルを提案する。
畳み込みニューラルネットワークを利用した革新的なスペクトルエンコーダを提案し、スペクトルデータにおける微細な局所信号構造と高レベルのグローバルな依存関係の両方を効果的に捕捉する。
2つの新しい自己教師型学習タスク、すなわちマスク付き再構成と次のスロット信号予測が、SpectrumFMの事前学習のために開発され、モデルがリッチで伝達可能な表現を学習できるようにする。
論文 参考訳（メタデータ） (2025-08-02T14:40:50Z) - Generalizable Multispectral Land Cover Classification via Frequency-Aware Mixture of Low-Rank Token Experts [22.75047167955269]
マルチスペクトル土地被覆分類(MLCC)の新しいアプローチであるLand-MoEを紹介する。
Land-MoEは、低ランクトークンエキスパート(MoLTE)と周波数認識フィルタ(FAF)の2つの重要なモジュールから構成される。
論文 参考訳（メタデータ） (2025-05-20T08:52:28Z) - SpectrumFM: A Foundation Model for Intelligent Spectrum Management [99.08036558911242]
既存のインテリジェントスペクトル管理手法は、通常は小規模モデルに基づいており、認識精度、収束速度、一般化の顕著な制限に悩まされている。
本稿では、スペクトルFMと呼ばれる新しいスペクトル基盤モデルを提案し、スペクトル管理のための新しいパラダイムを確立する。
実験により、SpectrumFMは精度、堅牢性、適応性、少数ショット学習効率、収束速度の点で優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-05-02T04:06:39Z) - CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [69.02751635551724]
スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。
スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。
本稿では,RGB,マルチスペクトル,ハイパースペクトル画像を用いたカメラ非依存表現学習モデルCARLを紹介する。
論文 参考訳（メタデータ） (2025-04-27T13:06:40Z) - FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
本稿では,潜時拡散モデルにおける周波数制御について検討する。
本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。
FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
論文 参考訳（メタデータ） (2025-04-02T22:03:11Z) - Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。
局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。
グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
論文 参考訳（メタデータ） (2025-01-02T15:14:40Z) - SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。
既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。
我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
論文 参考訳（メタデータ） (2023-11-13T07:09:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。