論文の概要: MP-HSIR: A Multi-Prompt Framework for Universal Hyperspectral Image Restoration

• arxiv url: http://arxiv.org/abs/2503.09131v1
• Date: Wed, 12 Mar 2025 07:40:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:39:21.601707
• Title: MP-HSIR: A Multi-Prompt Framework for Universal Hyperspectral Image Restoration
• Title（参考訳）: MP-HSIR:Universal Hyperspectral Image Restorationのためのマルチプロンプトフレームワーク
• Authors: Zhehui Wu, Yong Chen, Naoto Yokoya, Wei He,
• Abstract要約: ハイパースペクトル画像(HSI)は、イメージング中に多彩で未知の劣化に悩まされることが多い。 既存のHSI復元法は特定の劣化仮定に依存しており、複雑なシナリオでの有効性を制限している。 我々は,スペクトル,テキスト,視覚的プロンプトを効果的に統合し,汎用的なHSI復元を実現する,新しいマルチプロンプトフレームワークMP-HSIRを提案する。
• 参考スコア（独自算出の注目度）: 15.501904258858112
• License:
• Abstract: Hyperspectral images (HSIs) often suffer from diverse and unknown degradations during imaging, leading to severe spectral and spatial distortions. Existing HSI restoration methods typically rely on specific degradation assumptions, limiting their effectiveness in complex scenarios. In this paper, we propose MP-HSIR, a novel multi-prompt framework that effectively integrates spectral, textual, and visual prompts to achieve universal HSI restoration across diverse degradation types and intensities. Specifically, we develop a prompt-guided spatial-spectral transformer, which incorporates spatial self-attention and a prompt-guided dual-branch spectral self-attention. Since degradations affect spectral features differently, we introduce spectral prompts in the local spectral branch to provide universal low-rank spectral patterns as prior knowledge for enhancing spectral reconstruction. Furthermore, the text-visual synergistic prompt fuses high-level semantic representations with fine-grained visual features to encode degradation information, thereby guiding the restoration process. Extensive experiments on 9 HSI restoration tasks, including all-in-one scenarios, generalization tests, and real-world cases, demonstrate that MP-HSIR not only consistently outperforms existing all-in-one methods but also surpasses state-of-the-art task-specific approaches across multiple tasks. The code and models will be released at https://github.com/ZhehuiWu/MP-HSIR.
• Abstract（参考訳）: ハイパースペクトル画像(HSI)は、イメージング中に多様で未知の劣化に悩まされ、スペクトルや空間の歪みが激しい。 既存のHSI復元法は、一般に特定の劣化仮定に依存し、複雑なシナリオにおけるその有効性を制限している。 本稿では, スペクトル, テキスト, 視覚的プロンプトを効果的に統合し, 多様な劣化タイプや強度にまたがる共通のHSI復元を実現するための, マルチプロンプトフレームワークMP-HSIRを提案する。 具体的には、空間自己アテンションとプロンプト誘導デュアルブランチスペクトル自己アテンションを組み込んだ、プロンプト誘導型空間スペクトル変換器を開発する。 劣化はスペクトルの特徴に異なる影響を与えるため、スペクトル再構成の事前知識として、局所スペクトル分岐においてスペクトルプロンプトを導入し、普遍的な低ランクスペクトルパターンを提供する。 さらに、テキスト視覚相乗的プロンプトは、高レベルの意味表現をきめ細かな視覚特徴と融合させ、劣化情報を符号化し、復元プロセスを導く。 オールインワンのシナリオ、一般化テスト、実世界のケースを含む9つのHSI復元タスクに関する大規模な実験は、MP-HSIRが既存のオールインワンメソッドを一貫して上回るだけでなく、複数のタスクにわたって最先端のタスク固有のアプローチを超越していることを示した。 コードとモデルはhttps://github.com/ZhehuiWu/MP-HSIR.comで公開される。

関連論文リスト

• UniUIR: Considering Underwater Image Restoration as An All-in-One Learner [49.35128836844725]
  我々はUniUIRと呼ばれるユニバーサル水中画像復元手法を提案する。 劣化固有の問題を分離し、UIRタスクにおける様々な劣化の相関関係を探るため、我々はMamba Mixture-of-Expertsモジュールを設計した。 このモジュールは、空間領域と周波数領域の両方において劣化前の情報を抽出し、最適なタスク固有のプロンプトを適応的に選択する。
  論文  参考訳（メタデータ） (2025-01-22T16:10:42Z)
• Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
  RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。 局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。 グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
  論文  参考訳（メタデータ） (2025-01-02T15:14:40Z)
• PromptHSI: Universal Hyperspectral Image Restoration with Vision-Language Modulated Frequency Adaptation [28.105125164852367]
  本稿では,初のユニバーサルAiO HSI復元フレームワークであるPromptHSIを提案する。 提案手法では,テキストプロンプトを強度とバイアスコントローラに分解し,回復過程を効果的に導く。 我々のアーキテクチャは、さまざまな劣化シナリオにおいて、きめ細かい回復とグローバルな情報復元の両方に優れています。
  論文  参考訳（メタデータ） (2024-11-24T17:08:58Z)
• TOP-ReID: Multi-spectral Object Re-Identification with Token Permutation [64.65950381870742]
  マルチスペクトルオブジェクトReID, Dubbled TOP-ReIDのための循環トークン置換フレームワークを提案する。 また,巡回多スペクトル特徴アグリゲーションのためのToken Permutation Module (TPM)を提案する。 提案するフレームワークは,ロバストなオブジェクトReIDに対して,より識別性の高いマルチスペクトル特徴を生成できる。
  論文  参考訳（メタデータ） (2023-12-15T08:54:15Z)
• Gated Multi-Resolution Transfer Network for Burst Restoration and Enhancement [75.25451566988565]
  低画質の原画像のバーストから空間的精度の高い高画質画像を再構成する新しいGated Multi-Resolution Transfer Network (GMTNet)を提案する。 5つのデータセットに関する詳細な実験分析は、我々のアプローチを検証し、バースト超解像、バーストデノイング、低照度バーストエンハンスメントのための最先端技術を設定する。
  論文  参考訳（メタデータ） (2023-04-13T17:54:00Z)
• A Scale-Arbitrary Image Super-Resolution Network Using Frequency-domain Information [42.55177009667711]
  画像超解像(SR)は、低分解能(LR)画像において失われた高周波情報を復元する技術である。 本稿では、周波数領域における画像の特徴を考察し、新しいスケール・アービタリー画像SRネットワークを設計する。
  論文  参考訳（メタデータ） (2022-12-08T15:10:49Z)
• MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction [148.26195175240923]
  効率的なスペクトル再構成のためのマルチステージスペクトル変換器(MST++)を提案する。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。
  論文  参考訳（メタデータ） (2022-04-17T02:39:32Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。