論文の概要: PromptHSI: Universal Hyperspectral Image Restoration Framework for Composite Degradation

• arxiv url: http://arxiv.org/abs/2411.15922v2
• Date: Fri, 29 Nov 2024 02:26:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:15:33.603496
• Title: PromptHSI: Universal Hyperspectral Image Restoration Framework for Composite Degradation
• Title（参考訳）: PromptHSI:複合劣化のためのユニバーサルハイパースペクトル画像復元フレームワーク
• Authors: Chia-Ming Lee, Ching-Heng Cheng, Yu-Fan Lin, Yi-Ching Cheng, Wo-Ting Liao, Chih-Chung Hsu, Fu-En Yang, Yu-Chiang Frank Wang,
• Abstract要約: 本稿では,初のユニバーサルAiO HSI復元フレームワークであるPromptHSIを提案する。 テキストプロンプトを強度とバイアスコントローラに分解して復元プロセスを導出する。 我々の統合されたアーキテクチャは、きめ細かい回復とグローバルな情報復元の両方に優れています。
• 参考スコア（独自算出の注目度）: 28.10512516485237
• License:
• Abstract: Recent developments in All-in-One (AiO) RGB image restoration and prompt learning have enabled the representation of distinct degradations through prompts, allowing degraded images to be effectively addressed by a single restoration model. However, this paradigm faces significant challenges when transferring to hyperspectral image (HSI) restoration tasks due to: 1) the domain gap between RGB and HSI features and difference on their structures, 2) information loss in visual prompts under severe composite degradations, and 3) difficulties in capturing HSI-specific degradation representations through text prompts. To address these challenges, we propose PromptHSI, the first universal AiO HSI restoration framework. By leveraging the frequency-aware feature modulation based on characteristics of HSI degradations, we decompose text prompts into intensity and bias controllers to effectively guide the restoration process while avoiding domain gaps. Our unified architecture excels at both fine-grained recovery and global information restoration tasks. Experimental results demonstrate superior performance under various degradation combinations, indicating great potential for practical remote sensing applications. The source code and dataset will be publicly released.
• Abstract（参考訳）: オールインワン(AiO)RGB画像復元と即時学習の最近の進歩は、プロンプトによる異なる劣化の表現を可能にし、劣化した画像を単一の復元モデルで効果的に扱うことができる。 しかし、このパラダイムは、ハイパースペクトル画像(HSI)復元タスクの移行において、重要な課題に直面している。 1) RGB と HSI の領域ギャップと構造の違い。 2 重度複合劣化による視覚刺激の情報損失及び 3)テキストプロンプトによるHSI特異的劣化表現の取得が困難であった。 これらの課題に対処するため,最初のユニバーサルなAiO HSI復元フレームワークであるPromptHSIを提案する。 HSI劣化の特性に基づく周波数認識機能変調を利用して、テキストプロンプトを強度とバイアスコントローラに分解し、ドメインギャップを回避しつつ復元プロセスを効果的に導出する。 我々の統合されたアーキテクチャは、きめ細かい回復とグローバルな情報復元の両方に優れています。 実験により, 種々の劣化組み合わせによる性能が向上し, 実用的なリモートセンシング応用の可能性が示唆された。 ソースコードとデータセットが公開される。

関連論文リスト

• Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration [33.163161549726446]
  Perceive-IRは、微細な画質制御を実現するために設計されたオールインワン画像復元装置である。 素早い学習の段階では、素早い学習を活用し、3段階の品質レベルを識別できるきめ細かい品質知覚器を得る。 修復段階では,修復プロセスをさらに促進するために,意味的誘導モジュールとコンパクトな特徴抽出を提案する。
  論文  参考訳（メタデータ） (2024-08-28T17:58:54Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• HIR-Diff: Unsupervised Hyperspectral Image Restoration Via Improved Diffusion Models [38.74983301496911]
  ハイパースペクトル画像(HSI)の復元は、劣化した観察からクリーンなイメージを復元することを目的としている。 既存のモデルに基づく手法は、複雑な画像の特徴を正確にモデル化するのに限界がある。 本稿では,事前学習拡散モデル(HIR-Diff)を用いた教師なしHSI復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-24T17:15:05Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration [78.14941737723501]
  オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
  論文  参考訳（メタデータ） (2023-09-04T14:18:00Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• Implicit Subspace Prior Learning for Dual-Blind Face Restoration [66.67059961379923]
  新しい暗黙的サブスペース事前学習(ISPL)フレームワークが、二重盲顔復元の一般的な解決策として提案されている。 実験の結果,既存の最先端手法に対するISPLの認識歪改善が顕著であった。
  論文  参考訳（メタデータ） (2020-10-12T08:04:24Z)
• HiFaceGAN: Face Renovation via Collaborative Suppression and Replenishment [63.333407973913374]
  フェース・リノベーション(FR)は意味誘導型生成問題である。 HiFaceGANは、複数のネストされたCSRユニットを含む多段階フレームワークである。 合成画像と実顔画像の両方の実験により,HiFaceGANの優れた性能が確認された。
  論文  参考訳（メタデータ） (2020-05-11T11:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。