論文の概要: PromptHSI: Universal Hyperspectral Image Restoration with Vision-Language Modulated Frequency Adaptation

• arxiv url: http://arxiv.org/abs/2411.15922v3
• Date: Tue, 11 Mar 2025 06:47:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 19:16:19.431003
• Title: PromptHSI: Universal Hyperspectral Image Restoration with Vision-Language Modulated Frequency Adaptation
• Title（参考訳）: PromptHSI:ビジョンランゲージ変調周波数適応による広視野画像復元
• Authors: Chia-Ming Lee, Ching-Heng Cheng, Yu-Fan Lin, Yi-Ching Cheng, Wo-Ting Liao, Fu-En Yang, Yu-Chiang Frank Wang, Chih-Chung Hsu,
• Abstract要約: 本稿では,初のユニバーサルAiO HSI復元フレームワークであるPromptHSIを提案する。 提案手法では,テキストプロンプトを強度とバイアスコントローラに分解し,回復過程を効果的に導く。 我々のアーキテクチャは、さまざまな劣化シナリオにおいて、きめ細かい回復とグローバルな情報復元の両方に優れています。
• 参考スコア（独自算出の注目度）: 28.105125164852367
• License:
• Abstract: Recent advances in All-in-One (AiO) RGB image restoration have demonstrated the effectiveness of prompt learning in handling multiple degradations within a single model. However, extending these approaches to hyperspectral image (HSI) restoration is challenging due to the domain gap between RGB and HSI features, information loss in visual prompts under severe composite degradations, and difficulties in capturing HSI-specific degradation patterns via text prompts. In this paper, we propose PromptHSI, the first universal AiO HSI restoration framework that addresses these challenges. By incorporating frequency-aware feature modulation, which utilizes frequency analysis to narrow down the restoration search space and employing vision-language model (VLM)-guided prompt learning, our approach decomposes text prompts into intensity and bias controllers that effectively guide the restoration process while mitigating domain discrepancies. Extensive experiments demonstrate that our unified architecture excels at both fine-grained recovery and global information restoration across diverse degradation scenarios, highlighting its significant potential for practical remote sensing applications. The source code is available at https://github.com/chingheng0808/PromptHSI.
• Abstract（参考訳）: オールインワン(AiO)RGB画像復元の最近の進歩は、単一モデルにおける複数の劣化処理における迅速な学習の有効性を実証している。 しかし、これらのアプローチをハイパースペクトル画像(HSI)に拡張することは、RGBとHSIの特徴のドメインギャップ、重度複合劣化下での視覚的プロンプトの情報損失、テキストプロンプトによるHSI固有の劣化パターンの取得が困難であるために困難である。 本稿では,これらの課題に対処する初のユニバーサルAiO HSI復元フレームワークであるPromptHSIを提案する。 周波数認識機能変調を応用し、周波数解析を用いて検索空間を狭くし、視覚言語モデル(VLM)を誘導するプロンプト学習により、本手法では、テキストプロンプトを強度とバイアスコントローラに分解し、ドメイン不整合を緩和しながら、回復過程を効果的に導く。 大規模な実験により、我々の統合されたアーキテクチャは、さまざまな劣化シナリオをまたいだ細粒度回復とグローバル情報復元の両方に優れており、実用的なリモートセンシングアプリケーションに対するその大きな可能性を浮き彫りにしている。 ソースコードはhttps://github.com/chingheng0808/PromptHSIで入手できる。

関連論文リスト

• UniUIR: Considering Underwater Image Restoration as An All-in-One Learner [49.35128836844725]
  我々はUniUIRと呼ばれるユニバーサル水中画像復元手法を提案する。 劣化固有の問題を分離し、UIRタスクにおける様々な劣化の相関関係を探るため、我々はMamba Mixture-of-Expertsモジュールを設計した。 このモジュールは、空間領域と周波数領域の両方において劣化前の情報を抽出し、最適なタスク固有のプロンプトを適応的に選択する。
  論文  参考訳（メタデータ） (2025-01-22T16:10:42Z)
• Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration [33.163161549726446]
  Perceive-IRは、微細な画質制御を実現するために設計されたオールインワン画像復元装置である。 素早い学習の段階では、素早い学習を活用し、3段階の品質レベルを識別できるきめ細かい品質知覚器を得る。 修復段階では,修復プロセスをさらに促進するために,意味的誘導モジュールとコンパクトな特徴抽出を提案する。
  論文  参考訳（メタデータ） (2024-08-28T17:58:54Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• HIR-Diff: Unsupervised Hyperspectral Image Restoration Via Improved Diffusion Models [38.74983301496911]
  ハイパースペクトル画像(HSI)の復元は、劣化した観察からクリーンなイメージを復元することを目的としている。 既存のモデルに基づく手法は、複雑な画像の特徴を正確にモデル化するのに限界がある。 本稿では,事前学習拡散モデル(HIR-Diff)を用いた教師なしHSI復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-24T17:15:05Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration [78.14941737723501]
  オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
  論文  参考訳（メタデータ） (2023-09-04T14:18:00Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Implicit Subspace Prior Learning for Dual-Blind Face Restoration [66.67059961379923]
  新しい暗黙的サブスペース事前学習(ISPL)フレームワークが、二重盲顔復元の一般的な解決策として提案されている。 実験の結果,既存の最先端手法に対するISPLの認識歪改善が顕著であった。
  論文  参考訳（メタデータ） (2020-10-12T08:04:24Z)
• HiFaceGAN: Face Renovation via Collaborative Suppression and Replenishment [63.333407973913374]
  フェース・リノベーション(FR)は意味誘導型生成問題である。 HiFaceGANは、複数のネストされたCSRユニットを含む多段階フレームワークである。 合成画像と実顔画像の両方の実験により,HiFaceGANの優れた性能が確認された。
  論文  参考訳（メタデータ） (2020-05-11T11:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。