論文の概要: Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration

• arxiv url: http://arxiv.org/abs/2408.15994v1
• Date: Wed, 28 Aug 2024 17:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 14:59:16.333714
• Title: Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration
• Title（参考訳）: Perceive-IR:オールインワン画像復元における劣化認識の学習
• Authors: Xu Zhang, Jiaqi Ma, Guoli Wang, Qian Zhang, Huan Zhang, Lefei Zhang,
• Abstract要約: Perceive-IRは、微細な画質制御を実現するために設計されたオールインワン画像復元装置である。 素早い学習の段階では、素早い学習を活用し、3段階の品質レベルを識別できるきめ細かい品質知覚器を得る。 修復段階では,修復プロセスをさらに促進するために,意味的誘導モジュールとコンパクトな特徴抽出を提案する。
• 参考スコア（独自算出の注目度）: 33.163161549726446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The limitations of task-specific and general image restoration methods for specific degradation have prompted the development of all-in-one image restoration techniques. However, the diversity of patterns among multiple degradation, along with the significant uncertainties in mapping between degraded images of different severities and their corresponding undistorted versions, pose significant challenges to the all-in-one restoration tasks. To address these challenges, we propose Perceive-IR, an all-in-one image restorer designed to achieve fine-grained quality control that enables restored images to more closely resemble their undistorted counterparts, regardless of the type or severity of degradation. Specifically, Perceive-IR contains two stages: (1) prompt learning stage and (2) restoration stage. In the prompt learning stage, we leverage prompt learning to acquire a fine-grained quality perceiver capable of distinguishing three-tier quality levels by constraining the prompt-image similarity in the CLIP perception space. Subsequently, this quality perceiver and difficulty-adaptive perceptual loss are integrated as a quality-aware learning strategy to realize fine-grained quality control in restoration stage. For the restoration stage, a semantic guidance module (SGM) and compact feature extraction (CFE) are proposed to further promote the restoration process by utilizing the robust semantic information from the pre-trained large scale vision models and distinguishing degradation-specific features. Extensive experiments demonstrate that our Perceive-IR outperforms state-of-the-art methods in all-in-one image restoration tasks and exhibit superior generalization ability when dealing with unseen tasks.
• Abstract（参考訳）: 特定の劣化に対するタスク固有および一般的な画像復元手法の限界により、オールインワン画像復元技術の開発が進められている。 しかし、複数の劣化のパターンの多様性は、異なる重大度の劣化画像とそれに対応する非歪なバージョンとのマッピングの重大な不確実性と共に、オールインワンの復元作業に重大な課題をもたらしている。 これらの課題に対処するために、復元された画像が劣化のタイプや重大さに関わらず、より歪みのない画像に近づきやすいように、きめ細かい画質制御を実現するために設計されたオールインワン画像復元器Perceive-IRを提案する。 具体的には、Perceive-IRは(1)学習段階と(2)回復段階の2段階を含む。 素早い学習の段階では、CLIP知覚空間における素早い画像の類似性を制約することにより、3層品質レベルを識別できる粒度の高い品質知覚器を得るために、素早い学習を利用する。 その後、この品質認識器と難易度適応型知覚損失を品質認識学習戦略として統合し、回復段階におけるきめ細かい品質制御を実現する。 修復段階では,事前訓練された大規模視覚モデルからのロバストな意味情報を利用して,劣化特異的特徴を識別し,回復プロセスをさらに促進するために,意味誘導モジュール (SGM) とコンパクト特徴抽出 (CFE) を提案する。 広汎な実験により、Perceive-IRは、オールインワン画像復元タスクにおいて最先端の手法より優れ、目に見えないタスクに対処する際に優れた一般化能力を示すことが示された。

関連論文リスト

• PromptHSI: Universal Hyperspectral Image Restoration Framework for Composite Degradation [28.10512516485237]
  本稿では,初のユニバーサルAiO HSI復元フレームワークであるPromptHSIを提案する。 テキストプロンプトを強度とバイアスコントローラに分解して復元プロセスを導出する。 我々の統合されたアーキテクチャは、きめ細かい回復とグローバルな情報復元の両方に優れています。
  論文  参考訳（メタデータ） (2024-11-24T17:08:58Z)
• Overcoming False Illusions in Real-World Face Restoration with Multi-Modal Guided Diffusion Model [55.46927355649013]
  本稿では,新しいマルチモーダル・リアル・ワールド・フェイス・リカバリ技術を紹介する。 MGFRは偽の顔の特徴とアイデンティティの生成を緩和することができる。 5000のアイデンティティにまたがる23,000以上の高解像度の顔画像からなるReface-HQデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-05T13:46:56Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• Multimodal Prompt Perceiver: Empower Adaptiveness, Generalizability and Fidelity for All-in-One Image Restoration [58.11518043688793]
  MPerceiverは、オールインワン画像復元のための適応性、一般化性、忠実性を高める新しいアプローチである。 MPerceiverは、オールインワンIRの9つのタスクでトレーニングされ、ほとんどのタスクで最先端のタスク固有のメソッドより優れています。
  論文  参考訳（メタデータ） (2023-12-05T17:47:11Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
  我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:52Z)
• Implicit Subspace Prior Learning for Dual-Blind Face Restoration [66.67059961379923]
  新しい暗黙的サブスペース事前学習(ISPL)フレームワークが、二重盲顔復元の一般的な解決策として提案されている。 実験の結果,既存の最先端手法に対するISPLの認識歪改善が顕著であった。
  論文  参考訳（メタデータ） (2020-10-12T08:04:24Z)
• Blind Image Restoration without Prior Knowledge [0.22940141855172028]
  本稿では, 自己Normalization Side-Chain (SCNC) について述べる。 SCNCは既存のCNNトポロジに追加することができ、ネットワークの他の部分とエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2020-03-03T19:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。