論文の概要: Diffusion Prior Interpolation for Flexibility Real-World Face Super-Resolution
- arxiv url: http://arxiv.org/abs/2412.16552v1
- Date: Sat, 21 Dec 2024 09:28:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 16:00:29.171138
- Title: Diffusion Prior Interpolation for Flexibility Real-World Face Super-Resolution
- Title(参考訳): フレキシビリティ・リアル・ワールド・フェイス・スーパーリゾリューションのための拡散予備補間
- Authors: Jiarui Yang, Tao Dai, Yufei Zhu, Naiqi Li, Jinmin Li, Shutao Xia,
- Abstract要約: 拡散事前補間(DPI)は、一貫性と多様性のバランスをとることができ、事前訓練されたモデルにシームレスに統合することができる。
合成および実データに対して行われた広範な実験において、DPIはSOTA FSR法よりも優れていることを示した。
- 参考スコア(独自算出の注目度): 48.34173818491552
- License:
- Abstract: Diffusion models represent the state-of-the-art in generative modeling. Due to their high training costs, many works leverage pre-trained diffusion models' powerful representations for downstream tasks, such as face super-resolution (FSR), through fine-tuning or prior-based methods. However, relying solely on priors without supervised training makes it challenging to meet the pixel-level accuracy requirements of discrimination task. Although prior-based methods can achieve high fidelity and high-quality results, ensuring consistency remains a significant challenge. In this paper, we propose a masking strategy with strong and weak constraints and iterative refinement for real-world FSR, termed Diffusion Prior Interpolation (DPI). We introduce conditions and constraints on consistency by masking different sampling stages based on the structural characteristics of the face. Furthermore, we propose a condition Corrector (CRT) to establish a reciprocal posterior sampling process, enhancing FSR performance by mutual refinement of conditions and samples. DPI can balance consistency and diversity and can be seamlessly integrated into pre-trained models. In extensive experiments conducted on synthetic and real datasets, along with consistency validation in face recognition, DPI demonstrates superiority over SOTA FSR methods. The code is available at \url{https://github.com/JerryYann/DPI}.
- Abstract(参考訳): 拡散モデルは、生成モデリングにおける最先端の表現である。
トレーニングコストが高いため、多くの研究は、微調整や事前ベース手法によって、フェース・スーパーレゾリューション(FSR)のような下流タスクに、事前訓練された拡散モデルの強力な表現を活用する。
しかし、教師付きトレーニングを伴わずに事前のみに依存するため、識別タスクの画素レベルの精度要件を満たすことは困難である。
従来の手法では高い忠実度と高品質な結果が得られるが、一貫性の確保は依然として大きな課題である。
本稿では,DPI(Diffusion Prior Interpolation)と呼ばれる実世界のFSRに対して,強い制約と弱い制約を持つマスキング戦略を提案する。
本研究では,顔の構造的特徴に基づいて,異なるサンプリングステージをマスキングすることで,一貫性の条件と制約を導入する。
さらに,条件とサンプルの相互改善によるFSR性能の向上を図り,相互に後続サンプリングを行うための条件コレクタ(CRT)を提案する。
DPIは一貫性と多様性のバランスをとることができ、事前訓練されたモデルにシームレスに統合することができる。
合成および実データに対して行われた広範囲な実験では、顔認証における整合性検証とともに、DPIはSOTA FSR法よりも優れていることを示した。
コードは \url{https://github.com/JerryYann/DPI} で公開されている。
関連論文リスト
- Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors [75.24313405671433]
拡散に基づく画像超解像法 (SR) は、事前訓練された大規模なテキスト・画像拡散モデルを先行として活用することにより、顕著な成功を収めた。
本稿では,拡散型SR手法の効率問題に対処する新しい一段階SRモデルを提案する。
既存の微調整戦略とは異なり、SR専用の劣化誘導低ランク適応 (LoRA) モジュールを設計した。
論文 参考訳(メタデータ) (2024-09-25T16:15:21Z) - One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。
OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文 参考訳(メタデータ) (2024-08-17T09:51:42Z) - Boosting Flow-based Generative Super-Resolution Models via Learned Prior [8.557017814978334]
フローベース超解像(SR)モデルは、高品質な画像を生成する際に驚くべき能力を示した。
これらの手法は、グリッドアーティファクト、爆発する逆数、固定サンプリング温度による最適以下の結果など、画像生成中にいくつかの課題に遭遇する。
本研究では、フローベースSRモデルの推論フェーズ前に学習した条件を導入する。
論文 参考訳(メタデータ) (2024-03-16T18:04:12Z) - BFRFormer: Transformer-based generator for Real-World Blind Face
Restoration [37.77996097891398]
本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。
提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
論文 参考訳(メタデータ) (2024-02-29T02:31:54Z) - JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。
従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。
本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
論文 参考訳(メタデータ) (2023-12-20T08:05:57Z) - SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
拡散モデルに基づく超解像(SR)法は有望な結果を示す。
しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。
本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-11-23T16:21:29Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。
時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文 参考訳(メタデータ) (2023-05-11T17:55:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。