論文の概要: MBTI: A Multi-Branch Efficient Fine-Tuning Framework for Hyperspectral Image Classification with Foundation Models

• arxiv url: http://arxiv.org/abs/2607.12782v1
• Date: Tue, 14 Jul 2026 13:58:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.162821
• Title: MBTI: A Multi-Branch Efficient Fine-Tuning Framework for Hyperspectral Image Classification with Foundation Models
• Title（参考訳）: MBTI:基礎モデルを用いたハイパースペクトル画像分類のためのマルチブランチ効率的なファインチューニングフレームワーク
• Abstract要約: ハイパースペクトル基礎モデルは、大規模未ラベルデータから転送可能なスペクトル空間表現を学習する。 MBTIは、全帯域スペクトル情報を保持しながら、下流の分類タスクにハイパースペクトル基礎モデルを適用する。 MBTIは、代表分類法と比較して、競争力と優れた性能を達成する。
• 参考スコア（独自算出の注目度）: 39.61919805272958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperspectral foundation models learn transferable spectral-spatial representations from large-scale unlabeled data. They provide an effective paradigm for adapting to downstream hyperspectral image (HSI) classification tasks with limited labeled samples. However, spectral band configurations vary substantially across sensors, which makes direct model transfer difficult. Existing adaptation strategies often compress, select, or reshape the original spectra to match model-specific input requirements. These operations may discard useful spectral information and weaken local spectral continuity. To address this problem, we propose MBTI, a Multi-Branch efficient fine-tuning framework for Hyperspectral Image classification. MBTI adapts hyperspectral foundation models to downstream classification tasks while preserving full-band spectral information. First, we introduce a spectral-continuity-preserving multi-branch preprocessing strategy. The original HSI is divided into multiple continuous spectral subsets, and a band reuse mechanism is used when the remaining bands cannot form a complete branch. This avoids invalid padding and unnecessary spectral loss. Second, independent Low-Rank Adaptation (LoRA) modules are inserted into each branch. They enable different spectral intervals to learn task-specific discriminative features while keeping most pre-trained parameters frozen. Finally, a multi-branch channel attention fusion module adaptively recalibrates and integrates features from all spectral branches. Experiments on three public hyperspectral datasets show that MBTI achieves competitive and superior performance compared with representative classification methods. Under the final rank-8 configuration, only about 2.33\%--2.36\% of the parameters are trainable. The code will be available at https://github.com/Azhenmiddleblock/MBTI/tree/main.
• Abstract（参考訳）: ハイパースペクトル基礎モデルは、大規模未ラベルデータから転送可能なスペクトル空間表現を学習する。 限られたラベル付きサンプルを用いて、下流ハイパースペクトル画像(HSI)分類タスクに適応するための効果的なパラダイムを提供する。 しかし、スペクトルバンド構成はセンサーによって大きく異なるため、直接モデル転送が困難になる。 既存の適応戦略はしばしば、モデル固有の入力要求に合うように、元のスペクトルを圧縮、選択、あるいは再形成する。 これらの操作は有用なスペクトル情報を破棄し、局所スペクトルの連続性を弱める。 この問題に対処するために,ハイパースペクトル画像分類のためのマルチブランチ効率的な微調整フレームワークMBTIを提案する。 MBTIは、全帯域スペクトル情報を保持しながら、下流の分類タスクにハイパースペクトル基礎モデルを適用する。 まず,スペクトル連続保存型マルチブランチ前処理方式を提案する。 元のHSIは複数の連続スペクトル部分集合に分割され、残りのバンドが完全な分岐を形成できない場合にバンド再利用機構が使用される。 これにより、不正なパディングや不要なスペクトル損失が回避される。 第二に、独立したローランド適応(LoRA)モジュールが各ブランチに挿入される。 異なるスペクトル間隔でタスク固有の識別特徴を学習し、事前訓練されたほとんどのパラメータを凍結させる。 最後に、マルチブランチチャネルアテンション融合モジュールは、すべてのスペクトル枝の特徴を適応的に再検討し、統合する。 3つの公開ハイパースペクトルデータセットの実験により、MBTIは代表分類法と比較して、競争力と優れた性能を達成することが示された。 最終ランク8の構成では、パラメータの約2.33\%--2.36\%しか訓練できない。 コードはhttps://github.com/Azhenmiddleblock/MBTI/tree/mainで入手できる。

関連論文リスト

• S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection [74.15663758681849]
  シングルストリームフレームワークは、信頼性キャリブレーションされた周波数適応をMSOD用のSAMバックボーンに組み込む。 RGB-D、RGB-T、RGB-NIRの正当性オブジェクト検出ベンチマークの実験により、提案フレームワークが競合性能を達成することを確認した。
  論文  参考訳（メタデータ） (2026-08-18T08:05:00Z)
• Hyperspectral Mamba for Hyperspectral Object Tracking [56.365517163296936]
  Mamba (HyMamba) を用いた新しいハイパースペクトル物体追跡ネットワークを提案する。 状態空間モジュール(SSM)によるスペクトル、クロスディープス、時間モデリングを統一する。 HyMambaは、7つのベンチマークデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-09-10T03:47:43Z)
• SpectralX: Parameter-efficient Domain Generalization for Spectral Remote Sensing Foundation Models [27.717648142854696]
  SpectralXは、既存のRSFMをバックボーンとして適応する革新的なパラメータ効率の微調整フレームワークである。 AoMoA (Attribute-oriented Mixture of Adapter) を開発した。 低レベルのセマンティックな特徴を高レベルの表現で反復的にクエリすることで、モデルはタスク便益属性にフォーカスすることを学ぶ。
  論文  参考訳（メタデータ） (2025-08-03T12:14:38Z)
• Zero-Shot Hyperspectral Pansharpening Using Hysteresis-Based Tuning for Spectral Quality Control [5.231219025536678]
  ハイパースペクトルパンシャルペン法は、ハイパースペクトルデータ融合によって引き起こされるユニークな課題をしばしば見落としている。 単一の軽量ニューラルネットワークが使用され、各バンドにフライに適応するウェイトが使用される。 提案手法は,外部データ,フレキシブル,低複雑さを事前トレーニングすることなく,完全に教師なしである。
  論文  参考訳（メタデータ） (2025-05-22T13:24:24Z)
• 3D-Convolution Guided Spectral-Spatial Transformer for Hyperspectral Image Classification [12.729885732069926]
  視覚変換器(ViT)は畳み込みニューラルネットワーク(CNN)よりも有望な分類性能を示した ViTはシーケンシャルなデータを出力するが、CNNのようなスペクトル空間情報を抽出することはできない。 HSI分類のための3次元畳み込み誘導スペクトル空間変換器(3D-ConvSST)を提案する。
  論文  参考訳（メタデータ） (2024-04-20T03:39:54Z)
• DiffSpectralNet : Unveiling the Potential of Diffusion Models for Hyperspectral Image Classification [6.521187080027966]
  我々は拡散と変圧器技術を組み合わせたDiffSpectralNetと呼ばれる新しいネットワークを提案する。 まず,拡散モデルに基づく教師なし学習フレームワークを用いて,高レベル・低レベルのスペクトル空間的特徴を抽出する。 この拡散法はスペクトル空間の特徴を多様かつ有意義に抽出し,HSI分類の改善につながる。
  論文  参考訳（メタデータ） (2023-10-29T15:26:37Z)
• MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction [148.26195175240923]
  効率的なスペクトル再構成のためのマルチステージスペクトル変換器(MST++)を提案する。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。
  論文  参考訳（メタデータ） (2022-04-17T02:39:32Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers [91.09957836250209]
  ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴づけられる。 CNNは、HS画像分類において強力な特徴抽出器であることが証明されている。 我々は、HS画像分類のためのulSpectralFormerと呼ばれる新しいバックボーンネットワークを提案する。
  論文  参考訳（メタデータ） (2021-07-07T02:59:21Z)
• SpecTr: Spectral Transformer for Hyperspectral Pathology Image Segmentation [14.34998033157658]
  我々はスペクトル帯域間の長距離依存性をモデル化できるSpectral Transformer (SpecTr) と命名した。 spectrは、事前トレーニングを必要とせず、ハイパースペクトル病理画像セグメンテーションベンチマークで他の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2021-03-05T11:12:22Z)
• Spectral Analysis Network for Deep Representation Learning and Image Clustering [53.415803942270685]
  本稿ではスペクトル分析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。 パッチレベルで画像間の局所的な類似性を識別できるため、閉塞に対してより堅牢である。 クラスタリングに親しみやすい表現を学習し、データサンプル間の深い相関を明らかにすることができる。
  論文  参考訳（メタデータ） (2020-09-11T05:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。