論文の概要: DifFace: Blind Face Restoration with Diffused Error Contraction
- arxiv url: http://arxiv.org/abs/2212.06512v1
- Date: Tue, 13 Dec 2022 11:52:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 14:57:37.679296
- Title: DifFace: Blind Face Restoration with Diffused Error Contraction
- Title(参考訳): DifFace:Diffused Error Contractionによるブラインド顔修復
- Authors: Zongsheng Yue and Chen Change Loy
- Abstract要約: DifFaceは、複雑な損失設計なしで、目に見えない複雑な劣化にもっと優しく対処できる。
本手法は最先端の手法よりも優れているが,特に重度劣化例では有効である。
- 参考スコア(独自算出の注目度): 99.16784641714924
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While deep learning-based methods for blind face restoration have achieved
unprecedented success, they still suffer from two major limitations. First,
most of them deteriorate when facing complex degradations out of their training
data. Second, these methods require multiple constraints, e.g., fidelity,
perceptual, and adversarial losses, which require laborious hyper-parameter
tuning to stabilize and balance their influences. In this work, we propose a
novel method named DifFace that is capable of coping with unseen and complex
degradations more gracefully without complicated loss designs. The key of our
method is to establish a posterior distribution from the observed low-quality
(LQ) image to its high-quality (HQ) counterpart. In particular, we design a
transition distribution from the LQ image to the intermediate state of a
pre-trained diffusion model and then gradually transmit from this intermediate
state to the HQ target by recursively applying a pre-trained diffusion model.
The transition distribution only relies on a restoration backbone that is
trained with $L_2$ loss on some synthetic data, which favorably avoids the
cumbersome training process in existing methods. Moreover, the transition
distribution can contract the error of the restoration backbone and thus makes
our method more robust to unknown degradations. Comprehensive experiments show
that DifFace is superior to current state-of-the-art methods, especially in
cases with severe degradations. Our code and model are available at
https://github.com/zsyOAOA/DifFace.
- Abstract(参考訳): 深層学習に基づく顔の復元は前例のない成功を収めているが、それでも2つの大きな制限に苦しめられている。
まず、トレーニングデータから複雑な劣化に直面すると、ほとんどが劣化する。
第二に、これらの手法は複数の制約(例えば、忠実さ、知覚的損失、および敵対的損失)を必要とする。
本研究では,複雑な損失設計を伴わずに,目に見えない複雑な劣化に対処できるDifFaceという新しい手法を提案する。
本手法の鍵は,観測された低品質(LQ)画像から高品質(HQ)画像への後部分布を確立することである。
特に、lq画像からプリトレーニング拡散モデルの中間状態への遷移分布を設計後、プリトレーニング拡散モデルを繰り返し適用することにより、この中間状態からhqターゲットへ徐々に伝達する。
遷移分布は、いくつかの合成データに対して$L_2$の損失でトレーニングされた復元バックボーンにのみ依存する。
さらに, 遷移分布は復元バックボーンの誤差を負うため, 未知の劣化に対してより頑健な手法となる。
総合的な実験により、DifFaceは最先端の手法よりも優れていることが示される。
私たちのコードとモデルはhttps://github.com/zsyoaoa/diffaceで利用可能です。
関連論文リスト
- BFRFormer: Transformer-based generator for Real-World Blind Face
Restoration [37.77996097891398]
本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。
提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
論文 参考訳(メタデータ) (2024-02-29T02:31:54Z) - CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using
Score-Based Diffusion Models [57.9771859175664]
最近の生成優先法は、有望なブラインドフェイス修復性能を示している。
入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。
本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
論文 参考訳(メタデータ) (2024-02-08T23:51:49Z) - Beyond First-Order Tweedie: Solving Inverse Problems using Latent
Diffusion [41.758635460235716]
我々はSurrogate Loss (STSL) の2階Tweedieサンプルについて紹介する。
STSLは、二階近似を用いたトラクタブル・リバース・プロセスを備えた一階Tweedieに匹敵する効率性を提供する。
提案手法は,PSLDとP2Lを超越し,神経機能評価の4倍,8倍の低減を実現した。
論文 参考訳(メタデータ) (2023-12-01T14:36:24Z) - SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
拡散モデルに基づく超解像(SR)法は有望な結果を示す。
しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。
本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-11-23T16:21:29Z) - Deep Equilibrium Diffusion Restoration with Parallel Sampling [127.31325974698993]
拡散に基づく画像復元法の多くは、HQイメージを段階的に復元するために長いシリアルサンプリングチェーンを必要とする。
拡散型IRモデルにおけるサンプリングチェーン全体をモデル化して解析解を導出する。
単イメージサンプリングを並列に行うことができ、トレーニングなしでHQイメージを復元することができます。
論文 参考訳(メタデータ) (2023-11-20T08:27:56Z) - PGDiff: Guiding Diffusion Models for Versatile Face Restoration via
Partial Guidance [65.5618804029422]
これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。
実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。
提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
論文 参考訳(メタデータ) (2023-09-19T17:51:33Z) - Learning A Coarse-to-Fine Diffusion Transformer for Image Restoration [39.071637725773314]
画像復元のための粗大な拡散変換器(C2F-DFT)を提案する。
C2F-DFTは拡散自己注意(DFSA)と拡散フィードフォワードネットワーク(DFN)を含んでいる
粗い訓練段階において,我々のC2F-DFTはノイズを推定し,サンプリングアルゴリズムにより最終クリーン画像を生成する。
論文 参考訳(メタデータ) (2023-08-17T01:59:59Z) - Exploiting Diffusion Prior for Real-World Image Super-Resolution [81.0962494325732]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。
時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文 参考訳(メタデータ) (2023-05-11T17:55:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。