論文の概要: Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration
- arxiv url: http://arxiv.org/abs/2408.15994v2
- Date: Wed, 07 May 2025 19:54:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-09 21:43:49.531396
- Title: Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration
- Title（参考訳）: Perceive-IR:オールインワン画像復元における劣化認識の学習
- Authors: Xu Zhang, Jiaqi Ma, Guoli Wang, Qian Zhang, Huan Zhang, Lefei Zhang,
- Abstract要約: Perceive-IRは、きめ細かい品質管理のための新しいバックボーン非依存のオールインワン画像復元フレームワークである。
モジュール構造により、コアコンポーネントは特定のバックボーンとは独立して機能し、高度な復元モデルへのシームレスな統合を可能にする。
- 参考スコア（独自算出の注目度）: 33.163161549726446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing All-in-One image restoration methods often fail to perceive degradation types and severity levels simultaneously, overlooking the importance of fine-grained quality perception. Moreover, these methods often utilize highly customized backbones, which hinder their adaptability and integration into more advanced restoration networks. To address these limitations, we propose Perceive-IR, a novel backbone-agnostic All-in-One image restoration framework designed for fine-grained quality control across various degradation types and severity levels. Its modular structure allows core components to function independently of specific backbones, enabling seamless integration into advanced restoration models without significant modifications. Specifically, Perceive-IR operates in two key stages: 1) multi-level quality-driven prompt learning stage, where a fine-grained quality perceiver is meticulously trained to discern three tier quality levels by optimizing the alignment between prompts and images within the CLIP perception space. This stage ensures a nuanced understanding of image quality, laying the groundwork for subsequent restoration; 2) restoration stage, where the quality perceiver is seamlessly integrated with a difficulty-adaptive perceptual loss, forming a quality-aware learning strategy. This strategy not only dynamically differentiates sample learning difficulty but also achieves fine-grained quality control by driving the restored image toward the ground truth while pulling it away from both low- and medium-quality samples.
- Abstract（参考訳）: 既存のオールインワン画像復元法は、微細な品質知覚の重要性を見越して、劣化タイプと重症度を同時に知覚するのに失敗することが多い。
さらに、これらの手法は高度にカスタマイズされたバックボーンを利用することが多く、適応性とより高度な復元ネットワークへの統合を妨げている。
これらの制約に対処するために,様々な劣化タイプと重大度レベルのきめ細かな品質制御を目的とした,バックボーン非依存のオールインワン画像復元フレームワークPerceive-IRを提案する。
モジュール構造により、コアコンポーネントは特定のバックボーンとは独立して機能し、大幅な変更なしに高度な復元モデルへのシームレスな統合を可能にする。
具体的には、Perceive-IRは2つの重要な段階で動作する。
1)CLIP知覚空間内のプロンプトと画像のアライメントを最適化することにより、きめ細かい品質知覚者が3段階の品質レベルを正確に識別するマルチレベル品質駆動型プロンプト学習ステージ。
この段階は、画像の品質の微妙な理解を確実にし、その後の修復の基礎を築き上げます。
2) 品質認知者と難易度の高い知覚的損失とをシームレスに統合し, 品質認識学習戦略を形成する再生段階。
この戦略は、サンプル学習の難易度を動的に区別するだけでなく、復元された画像を低品質と中質の両方のサンプルから引き離しながら、地上の真理に向けて駆動することで、きめ細かい品質制御を実現する。
関連論文リスト
- Beyond Degradation Redundancy: Contrastive Prompt Learning for All-in-One Image Restoration [109.38288333994407]
コントラスト・プロンプト・ラーニング(Contrastive Prompt Learning, CPL)は、プロンプト・タスクのアライメントを根本的に強化する新しいフレームワークである。
本フレームワークは,パラメータ効率を保ちながら,新たな最先端性能を確立し,統一画像復元のための原理的ソリューションを提供する。
論文 参考訳（メタデータ） (2025-04-14T08:24:57Z) - UniRestorer: Universal Image Restoration via Adaptively Estimating Image Degradation at Proper Granularity [79.90839080916913]
We present our UniRestorer with improve restoration performance。
具体的には、劣化空間上で階層的クラスタリングを行い、マルチグラニュラリティ・ミックス・オブ・エキスパート(MoE)復元モデルを訓練する。
UniRestorerは、既存の劣化診断法と -aware 法とは対照的に、劣化推定を利用して劣化特定回復の恩恵を受けることができる。
論文 参考訳（メタデータ） (2024-12-28T14:09:08Z) - PromptHSI: Universal Hyperspectral Image Restoration Framework for Composite Degradation [28.10512516485237]
本稿では,初のユニバーサルAiO HSI復元フレームワークであるPromptHSIを提案する。
テキストプロンプトを強度とバイアスコントローラに分解して復元プロセスを導出する。
我々の統合されたアーキテクチャは、きめ細かい回復とグローバルな情報復元の両方に優れています。
論文 参考訳（メタデータ） (2024-11-24T17:08:58Z) - Overcoming False Illusions in Real-World Face Restoration with Multi-Modal Guided Diffusion Model [55.46927355649013]
本稿では,新しいマルチモーダル・リアル・ワールド・フェイス・リカバリ技術を紹介する。
MGFRは偽の顔の特徴とアイデンティティの生成を緩和することができる。
5000のアイデンティティにまたがる23,000以上の高解像度の顔画像からなるReface-HQデータセットを提案する。
論文 参考訳（メタデータ） (2024-10-05T13:46:56Z) - Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。
我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。
また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
論文 参考訳（メタデータ） (2024-07-04T05:01:10Z) - SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
セマンティック・復元型画像復元フレームワークであるSPIREを開発した。
本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。
本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
論文 参考訳（メタデータ） (2023-12-18T17:02:30Z) - Multimodal Prompt Perceiver: Empower Adaptiveness, Generalizability and Fidelity for All-in-One Image Restoration [58.11518043688793]
MPerceiverは、オールインワン画像復元のための適応性、一般化性、忠実性を高める新しいアプローチである。
MPerceiverは、オールインワンIRの9つのタスクでトレーニングされ、ほとんどのタスクで最先端のタスク固有のメソッドより優れています。
論文 参考訳（メタデータ） (2023-12-05T17:47:11Z) - All-in-one Multi-degradation Image Restoration Network via Hierarchical
Degradation Representation [47.00239809958627]
我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。
AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。
この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
論文 参考訳（メタデータ） (2023-08-06T04:51:41Z) - PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。
本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。
PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
論文 参考訳（メタデータ） (2023-06-22T17:59:52Z) - Implicit Subspace Prior Learning for Dual-Blind Face Restoration [66.67059961379923]
新しい暗黙的サブスペース事前学習(ISPL)フレームワークが、二重盲顔復元の一般的な解決策として提案されている。
実験の結果,既存の最先端手法に対するISPLの認識歪改善が顕著であった。
論文 参考訳（メタデータ） (2020-10-12T08:04:24Z) - Blind Image Restoration without Prior Knowledge [0.22940141855172028]
本稿では, 自己Normalization Side-Chain (SCNC) について述べる。
SCNCは既存のCNNトポロジに追加することができ、ネットワークの他の部分とエンドツーエンドでトレーニングされる。
論文 参考訳（メタデータ） (2020-03-03T19:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。