論文の概要: RAP-SR: RestorAtion Prior Enhancement in Diffusion Models for Realistic Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2412.07149v1
• Date: Tue, 10 Dec 2024 03:17:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:37:18.840377
• Title: RAP-SR: RestorAtion Prior Enhancement in Diffusion Models for Realistic Image Super-Resolution
• Title（参考訳）: RAP-SR: 画像超解像における拡散モデルの事前改善
• Authors: Jiangang Wang, Qingnan Fan, Jinwei Chen, Hong Gu, Feng Huang, Wenqi Ren,
• Abstract要約: 本稿では,Real-SRの事前学習拡散モデルにおける事前拡張手法であるRAP-SRを紹介する。 まず,QDAISP(Quality-Driven Aesthetic Image Selection Pipeline)を用いたHFAID(High-Fidelity Aesthetic Image dataset)を開発した。 第2に、復元優先分担(RPR)と再生指向分担最適化(ROPO)モジュールを含む再生優先分担フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 36.137383171027615
• License:
• Abstract: Benefiting from their powerful generative capabilities, pretrained diffusion models have garnered significant attention for real-world image super-resolution (Real-SR). Existing diffusion-based SR approaches typically utilize semantic information from degraded images and restoration prompts to activate prior for producing realistic high-resolution images. However, general-purpose pretrained diffusion models, not designed for restoration tasks, often have suboptimal prior, and manually defined prompts may fail to fully exploit the generated potential. To address these limitations, we introduce RAP-SR, a novel restoration prior enhancement approach in pretrained diffusion models for Real-SR. First, we develop the High-Fidelity Aesthetic Image Dataset (HFAID), curated through a Quality-Driven Aesthetic Image Selection Pipeline (QDAISP). Our dataset not only surpasses existing ones in fidelity but also excels in aesthetic quality. Second, we propose the Restoration Priors Enhancement Framework, which includes Restoration Priors Refinement (RPR) and Restoration-Oriented Prompt Optimization (ROPO) modules. RPR refines the restoration prior using the HFAID, while ROPO optimizes the unique restoration identifier, improving the quality of the resulting images. RAP-SR effectively bridges the gap between general-purpose models and the demands of Real-SR by enhancing restoration prior. Leveraging the plug-and-play nature of RAP-SR, our approach can be seamlessly integrated into existing diffusion-based SR methods, boosting their performance. Extensive experiments demonstrate its broad applicability and state-of-the-art results. Codes and datasets will be available upon acceptance.
• Abstract（参考訳）: その強力な生成能力から、事前訓練された拡散モデルは、実世界の超解像(Real-SR)に大きな注目を集めている。 既存の拡散ベースのSRアプローチは、通常、劣化した画像からの意味情報を利用して、現実的な高解像度画像を生成する前に、復元プロンプトを起動する。 しかし、修復作業のために設計されていない汎用的な事前訓練拡散モデルは、しばしば最適以下であり、手動で定義されたプロンプトは、生成されたポテンシャルを完全に活用できない可能性がある。 これらの制約に対処するために、Real-SRのための事前学習拡散モデルにおいて、新しい復元前拡張アプローチであるRAP-SRを導入する。 まず,QDAISP(Quality-Driven Aesthetic Image Selection Pipeline)を用いて,HFAID(High-Fidelity Aesthetic Image Dataset)を開発した。 我々のデータセットは、既存のデータを忠実に上回るだけでなく、美的品質も優れている。 第2に、復元優先分担(RPR)と再生指向分担最適化(ROPO)モジュールを含む再生優先分担フレームワークを提案する。 RPRはHFAIDを使用する前に復元を洗練し、ROPOはユニークな復元識別子を最適化し、画像の品質を向上させる。 RAP-SRは、一般的なモデルとReal-SRの要求のギャップを効果的に埋める。 RAP-SRのプラグ・アンド・プレイ特性を活用することで,既存の拡散型SR手法にシームレスに統合し,性能を向上させることができる。 広範囲にわたる実験は、その適用性と最先端の結果を示している。 コードとデータセットは受け入れ次第利用できる。

関連論文リスト

• Varformer: Adapting VAR's Generative Prior for Image Restoration [6.0648320320309885]
  新しい画像生成パラダイムであるVARは、次世代の予測アプローチを適用することで、生成品質の拡散モデルを上回る。 VAR内の複数スケールの潜在表現を復元として定式化し、繊細に設計されたVarFormerフレームワークを前進させる。
  論文  参考訳（メタデータ） (2024-12-30T16:32:55Z)
• TSD-SR: One-Step Diffusion with Target Score Distillation for Real-World Image Super-Resolution [25.994093587158808]
  事前訓練されたテキスト-画像拡散モデルが、現実の画像超解像(Real-ISR)タスクにますます応用されている。 拡散モデルの反復的洗練された性質を考えると、既存のアプローチのほとんどは計算的に高価である。 実世界の超高解像度画像に特化して設計された新しい蒸留フレームワークであるTLD-SRを提案する。
  論文  参考訳（メタデータ） (2024-11-27T12:01:08Z)
• Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors [75.24313405671433]
  拡散に基づく画像超解像法 (SR) は、事前訓練された大規模なテキスト・画像拡散モデルを先行として活用することにより、顕著な成功を収めた。 本稿では,拡散型SR手法の効率問題に対処する新しい一段階SRモデルを提案する。 既存の微調整戦略とは異なり、SR専用の劣化誘導低ランク適応 (LoRA) モジュールを設計した。
  論文  参考訳（メタデータ） (2024-09-25T16:15:21Z)
• One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
  極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。 OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• SSP-IR: Semantic and Structure Priors for Diffusion-based Realistic Image Restoration [20.873676111265656]
  SSP-IRは、低画質の画像からセマンティックと構造をフル活用することを目的としている。 提案手法は,合成および実世界のデータセットにおいて,他の最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2024-07-04T04:55:14Z)
• Low-Res Leads the Way: Improving Generalization for Super-Resolution by Self-Supervised Learning [45.13580581290495]
  本研究は,SRモデルの現実の画像への適応性を高めるために,新しい"Low-Res Leads the Way"(LWay)トレーニングフレームワークを導入する。 提案手法では,低分解能(LR)再構成ネットワークを用いて,LR画像から劣化埋め込みを抽出し,LR再構成のための超解出力とマージする。 私たちのトレーニング体制は普遍的に互換性があり、ネットワークアーキテクチャの変更は不要です。
  論文  参考訳（メタデータ） (2024-03-05T02:29:18Z)
• Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model [59.08821399652483]
  照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。 これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。 我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。 Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
  論文  参考訳（メタデータ） (2023-11-20T09:55:06Z)
• RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
  バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。 本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:14:13Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• RRSR:Reciprocal Reference-based Image Super-Resolution with Progressive Feature Alignment and Selection [66.08293086254851]
  本稿では,RefSRネットワークの学習を強化するための相互学習フレームワークを提案する。 新たに提案したモジュールは,マルチスケールの特徴空間に参照入力画像をアライメントし,参照認識機能の選択を行う。 我々は,最近のRefSRモデルが相互学習パラダイムによって一貫した改善が可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2022-11-08T12:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。