論文の概要: Parameter-Efficient Fine-Tuning of Multispectral Foundation Models for Hyperspectral Image Classification

• arxiv url: http://arxiv.org/abs/2505.15334v1
• Date: Wed, 21 May 2025 10:05:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.43536
• Title: Parameter-Efficient Fine-Tuning of Multispectral Foundation Models for Hyperspectral Image Classification
• Title（参考訳）: ハイパースペクトル画像分類のためのマルチスペクトル基礎モデルのパラメータ効率の良い微調整
• Authors: Bernardin Ligan, Khalide Jbilou, Fahd Kalloubi, Ahmed Ratnani,
• Abstract要約: 下流タスクのための微調整されたハイパースペクトル基盤モデルは困難であり、しばしばかなりのメモリとストレージを必要とする。 ハイパースペクトル画像分類(HSIC)のための多スペクトル基盤モデルであるSpectralGPTの高精細化のための効率的なフレームワークを提案する。 LoRA+にインスパイアされたKronA+は、Kronecker行列に類似の機構を適用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models have achieved great success across diverse domains, including remote sensing (RS), thanks to their versatility and strong generalization abilities. However, most RS foundation models are designed for multispectral data, while hyperspectral imagery (HSI) - with its hundreds of spectral bands - remains less explored. Fine-tuning such models for downstream tasks is also challenging, often demanding considerable memory and storage. In this paper, we propose an efficient framework to fine-tune SpectralGPT, a multispectral foundation model, for hyperspectral image classification (HSIC). We explore several Parameter-Efficient Fine-Tuning (PEFT) methods, including Low-Rank Adaptation (LoRA), Kronecker-based adaptation (KronA), Low-Rank Kronecker (LoKr), and the recent LoRA+, which uses distinct learning rates for low-rank adapters scaled by a factor lambda. Inspired by LoRA+, we introduce KronA+, which applies a similar mechanism to the Kronecker matrices. We evaluate our approach on five datasets from different sensors, showing competitive performance with state-of-the-art HSI models. Our full fine-tuning (FFT) setup for SpectralGPT even outperforms a dedicated hyperspectral foundation model on some datasets while requiring only a quarter of the training epochs. Under the same number of epochs, KronA+ reaches similar performance with far fewer trainable parameters - just 0.056 percent - and adds only approximately 0.2 megabytes of storage, making it the most effective PEFT method tested.
• Abstract（参考訳）: ファンデーションモデルは、その汎用性と強力な一般化能力により、リモートセンシング(RS)を含む様々な領域で大きな成功を収めている。 しかしながら、ほとんどのRSファンデーションモデルはマルチスペクトルデータのために設計されているが、ハイパースペクトル画像(HSI)は、数百のスペクトル帯域を持つが、まだ探索されていない。 ダウンストリームタスクのための微調整も困難であり、しばしばかなりのメモリとストレージを必要とする。 本稿では,高スペクトル画像分類(HSIC)のための多スペクトル基盤モデルであるSpectralGPTの高精細化のための効率的なフレームワークを提案する。 我々は、低ランク適応(LoRA)、Kroneckerベースの適応(KronA)、Low-Rank Kronecker(LoKr)、そして最近のLoRA+など、いくつかのパラメータ効率の良いファインチューニング(PEFT)手法について検討する。 LoRA+にインスパイアされたKronA+は、Kronecker行列に類似の機構を適用する。 我々は,センサの異なる5つのデータセットに対するアプローチを評価し,最先端のHSIモデルと競合する性能を示した。 SpectralGPTのFFT(Full Fine-tuning)セットアップは、トレーニングの4分の1しか必要とせず、一部のデータセットで専用のハイパースペクトル基盤モデルよりも優れています。 同じ数のエポックの下で、KronA+はトレーニング可能なパラメータをはるかに少なく(0.056パーセント)、約0.2メガバイトのストレージしか追加せず、最も効果的なPEFTメソッドである。

関連論文リスト

• MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
  我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。 様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-03-27T07:01:50Z)
• VELoRA: A Low-Rank Adaptation Approach for Efficient RGB-Event based Recognition [54.27379947727035]
  本稿では,RGBイベントに基づく分類のために,事前学習した基盤視覚モデルに適応するための新しいPEFT戦略を提案する。 また、2重モードのフレーム差は、フレーム差バックボーンネットワークを介してモーションキューをキャプチャすると考えられている。 ソースコードと事前トレーニングされたモデルはurlhttps://github.com/Event-AHU/VELoRAでリリースされる。
  論文  参考訳（メタデータ） (2024-12-28T07:38:23Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• SpectralEarth: Training Hyperspectral Foundation Models at Scale [47.93167977587301]
  ハイパースペクトル基礎モデルの事前学習を目的とした大規模マルチ時間データセットであるSpectralEarthを紹介する。 我々は、最先端の自己教師付き学習(SSL)アルゴリズムを用いて、SpectralEarthの一連の基礎モデルを事前訓練する。 我々は、土地被覆と収穫型マッピングのための4つの下流データセットを構築し、モデル評価のためのベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-08-15T22:55:59Z)
• Generative Parameter-Efficient Fine-Tuning [8.481707805559589]
  GIFTは、トレーニング済みの重みから直接、レイヤーの微調整された重みを生成することを学習する。 この定式化ブリッジはパラメータ効率の良い微調整および表現微調整を示す。
  論文  参考訳（メタデータ） (2023-12-01T16:33:57Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。