論文の概要: Towards Authentic Face Restoration with Iterative Diffusion Models and
Beyond
- arxiv url: http://arxiv.org/abs/2307.08996v1
- Date: Tue, 18 Jul 2023 06:31:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 16:11:28.148182
- Title: Towards Authentic Face Restoration with Iterative Diffusion Models and
Beyond
- Title(参考訳): 反復拡散モデルを用いた認証顔復元に向けて
- Authors: Yang Zhao, Tingbo Hou, Yu-Chuan Su, Xuhui Jia. Yandong Li and Matthias
Grundmann
- Abstract要約: 我々は$textbfIDM$, $textbfI$teratively learned face restoration systemを$textbfD$iffusionに基づいて提案する。
ブラインドフェイス修復作業における優れた性能を示す。
- 参考スコア(独自算出の注目度): 30.114913184727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An authentic face restoration system is becoming increasingly demanding in
many computer vision applications, e.g., image enhancement, video
communication, and taking portrait. Most of the advanced face restoration
models can recover high-quality faces from low-quality ones but usually fail to
faithfully generate realistic and high-frequency details that are favored by
users. To achieve authentic restoration, we propose $\textbf{IDM}$, an
$\textbf{I}$teratively learned face restoration system based on denoising
$\textbf{D}$iffusion $\textbf{M}$odels (DDMs). We define the criterion of an
authentic face restoration system, and argue that denoising diffusion models
are naturally endowed with this property from two aspects: intrinsic iterative
refinement and extrinsic iterative enhancement. Intrinsic learning can preserve
the content well and gradually refine the high-quality details, while extrinsic
enhancement helps clean the data and improve the restoration task one step
further. We demonstrate superior performance on blind face restoration tasks.
Beyond restoration, we find the authentically cleaned data by the proposed
restoration system is also helpful to image generation tasks in terms of
training stabilization and sample quality. Without modifying the models, we
achieve better quality than state-of-the-art on FFHQ and ImageNet generation
using either GANs or diffusion models.
- Abstract(参考訳): 画像強調、ビデオ通信、ポートレート撮影など、多くのコンピュータビジョンアプリケーションにおいて、顔の真の復元システムがますます求められている。
ほとんどの高度な顔復元モデルは、低品質な顔から高品質な顔を復元できるが、ユーザーから好まれるリアルで高頻度なディテールを忠実に生成できない。
真正復元を実現するために,$\textbf{IDM}$, $\textbf{I}$teratively learned face restoration system を $\textbf{D}$iffusion $\textbf{M}$odels (DDMs) のデノゲーションに基づいて提案する。
我々は, 真の顔復元システムの基準を定め, 拡散モデルに固有の反復的改良と拡張的反復的拡張という2つの側面から, 自然にこの特性を付与していると主張する。
内在学習は、コンテンツを良好に保存し、高品質の細部を徐々に洗練し、外在的拡張はデータをきれいにし、回復タスクをさらに改善するのに役立つ。
ブラインドフェイス修復作業における優れた性能を示す。
復元以外にも,提案する修復システムによるオーステンシャルにクリーン化されたデータは,トレーニング安定化とサンプル品質の観点から画像生成にも有用である。
モデルを変更することなく、GANまたは拡散モデルを用いてFFHQおよびImageNet生成の最先端技術よりも優れた品質を実現する。
関連論文リスト
- PFStorer: Personalized Face Restoration and Super-Resolution [19.479263766534345]
顔修復の最近の進歩は、高品質でライフスタイルのアウトプットを生み出すことに顕著な成果を上げている。
しかし、驚くべき結果は、モデルに必要なコンテキストが欠如しているため、人のアイデンティティに忠実でないことがしばしばあります。
提案手法では, 個人像を用いて復元モデルをパーソナライズし, 詳細な情報を保持しつつ, 個人像に対して調整した復元を行う。
論文 参考訳(メタデータ) (2024-03-13T11:39:30Z) - CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using
Score-Based Diffusion Models [57.9771859175664]
最近の生成優先法は、有望なブラインドフェイス修復性能を示している。
入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。
本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
論文 参考訳(メタデータ) (2024-02-08T23:51:49Z) - InstructIR: High-Quality Image Restoration Following Human Instructions [68.73167409192746]
本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。
InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
論文 参考訳(メタデータ) (2024-01-29T18:53:33Z) - Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic
Image Restoration In the Wild [59.21387997903937]
SUPIR (Scaling-UP Image Restoration) は、生成前処理とモデルスケールアップのパワーを利用する、画期的な画像復元手法である。
モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
論文 参考訳(メタデータ) (2024-01-24T17:58:07Z) - Restoration by Generation with Constrained Priors [28.30151629107902]
入力画像にノイズを付加して復調し、復調させることで、画像復元のための事前学習拡散モデルを適用する方法を提案する。
複数の実世界の復元データセットにおいて、アイデンティティと画質の保存において優れた性能を示す。
このアプローチにより、従来の作業ではできなかった高周波の詳細を正確に保存する結果が得られます。
論文 参考訳(メタデータ) (2023-12-28T17:50:54Z) - DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [73.8274638090392]
本稿では,事前訓練したテキスト・画像拡散モデルを利用したブラインド画像復元問題に対するDiffBIRを提案する。
本稿では, インジェクティブ変調サブネットワーク -- LAControlNet を微調整用として導入し, 事前学習した安定拡散はその生成能力を維持することを目的としている。
実験では、ブラインド画像の超解像とブラインド顔復元の両タスクにおいて、最先端のアプローチよりも優れていることを示した。
論文 参考訳(メタデータ) (2023-08-29T07:11:52Z) - RestoreFormer++: Towards Real-World Blind Face Restoration from
Undegraded Key-Value Pairs [63.991802204929485]
ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。
現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。
RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。
RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-08-14T16:04:53Z) - RestoreFormer: High-Quality Blind Face Restoration From Undegraded
Key-Value Pairs [48.33214614798882]
RestoreFormerを提案する。これはコンテキスト情報をモデル化するための完全な空間的注意を探索する。
破損したクエリと高品質なキー-バリューペア間の完全な空間的相互作用を学習する。
1つの合成データセットと3つの実世界のデータセットにおいて、最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2022-01-17T12:21:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。