論文の概要: PFStorer: Personalized Face Restoration and Super-Resolution
- arxiv url: http://arxiv.org/abs/2403.08436v1
- Date: Wed, 13 Mar 2024 11:39:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 14:43:39.496951
- Title: PFStorer: Personalized Face Restoration and Super-Resolution
- Title（参考訳）: PFStorer: パーソナライズされた顔復元とスーパーリゾリューション
- Authors: Tuomas Varanka, Tapani Toivonen, Soumya Tripathy, Guoying Zhao, Erman
Acar
- Abstract要約: 顔修復の最近の進歩は、高品質でライフスタイルのアウトプットを生み出すことに顕著な成果を上げている。
しかし、驚くべき結果は、モデルに必要なコンテキストが欠如しているため、人のアイデンティティに忠実でないことがしばしばあります。
提案手法では, 個人像を用いて復元モデルをパーソナライズし, 詳細な情報を保持しつつ, 個人像に対して調整した復元を行う。
- 参考スコア（独自算出の注目度）: 19.479263766534345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent developments in face restoration have achieved remarkable results in
producing high-quality and lifelike outputs. The stunning results however often
fail to be faithful with respect to the identity of the person as the models
lack necessary context. In this paper, we explore the potential of personalized
face restoration with diffusion models. In our approach a restoration model is
personalized using a few images of the identity, leading to tailored
restoration with respect to the identity while retaining fine-grained details.
By using independent trainable blocks for personalization, the rich prior of a
base restoration model can be exploited to its fullest. To avoid the model
relying on parts of identity left in the conditioning low-quality images, a
generative regularizer is employed. With a learnable parameter, the model
learns to balance between the details generated based on the input image and
the degree of personalization. Moreover, we improve the training pipeline of
face restoration models to enable an alignment-free approach. We showcase the
robust capabilities of our approach in several real-world scenarios with
multiple identities, demonstrating our method's ability to generate
fine-grained details with faithful restoration. In the user study we evaluate
the perceptual quality and faithfulness of the genereated details, with our
method being voted best 61% of the time compared to the second best with 25% of
the votes.
- Abstract（参考訳）: 顔修復の最近の進歩は、高品質でライフスタイルのアウトプットを生み出すことに顕著な成果を上げている。
しかし、驚くべき結果は、モデルに必要なコンテキストが欠如しているため、人のアイデンティティに忠実でないことがしばしばあります。
本稿では,拡散モデルを用いた顔復元の可能性について検討する。
提案手法では, 個人像を用いて復元モデルをパーソナライズし, 詳細な情報を保持しつつ, 個人像に対して調整した復元を行う。
個人化のために独立したトレーニング可能なブロックを使用することで、ベース復元モデルのリッチを最大限活用することができる。
低画質画像に残されているアイデンティティの一部に依存するモデルを避けるために、生成正規化器を用いる。
学習可能なパラメータを用いて、モデルが入力画像に基づいて生成された詳細とパーソナライゼーションの度合いのバランスをとることを学習する。
さらに,顔復元モデルのトレーニングパイプラインを改善し,アライメントのないアプローチを実現する。
複数のアイデンティティを持つ実世界のシナリオにおいて、我々のアプローチの頑健な能力を実証し、忠実な復元できめ細かな詳細を生成する方法の能力を実証する。
ユーザスタディでは、生成された詳細の知覚的品質と忠実度を評価し、その方法が25%の得票率で第2の得票率と比較して61%の得票率で評価された。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - Foundation Cures Personalization: Recovering Facial Personalized Models' Prompt Consistency [33.35678923549471]
FreeCureは、基礎モデル自体から固有の知識を活用して、パーソナライゼーションモデルの迅速な一貫性を改善する、トレーニング不要のフレームワークである。
パーソナライズモデルの出力における複数の属性を、新しいノイズブリーディング戦略と反転に基づくプロセスによって強化する。
論文 参考訳（メタデータ） (2024-11-22T15:21:38Z) - Overcoming False Illusions in Real-World Face Restoration with Multi-Modal Guided Diffusion Model [55.46927355649013]
本稿では,新しいマルチモーダル・リアル・ワールド・フェイス・リカバリ技術を紹介する。
MGFRは偽の顔の特徴とアイデンティティの生成を緩和することができる。
5000のアイデンティティにまたがる23,000以上の高解像度の顔画像からなるReface-HQデータセットを提案する。
論文 参考訳（メタデータ） (2024-10-05T13:46:56Z) - Personalized Restoration via Dual-Pivot Tuning [18.912158172904654]
そこで我々は、Dual-Pivot Tuningと呼ばれるパーソナライズされた復元方法を提案する。
私たちのキーとなる観察は、最適なパーソナライズのために、生成モデルは固定されたテキストピボットを中心に調整されるべきであるということです。
このアプローチは、パーソナライゼーションが復元プロセスに干渉しないことを保証し、結果として、人物のアイデンティティと劣化した画像の属性に忠実な自然な外観をもたらす。
論文 参考訳（メタデータ） (2023-12-28T18:57:49Z) - Restoration by Generation with Constrained Priors [25.906981634736795]
入力画像にノイズを付加して復調し、復調させることで、画像復元のための事前学習拡散モデルを適用する方法を提案する。
複数の実世界の復元データセットにおいて、アイデンティティと画質の保存において優れた性能を示す。
このアプローチにより、従来の作業ではできなかった高周波の詳細を正確に保存する結果が得られます。
論文 参考訳（メタデータ） (2023-12-28T17:50:54Z) - Effective Adapter for Face Recognition in the Wild [72.75516495170199]
私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。
従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。
高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
論文 参考訳（メタデータ） (2023-12-04T08:55:46Z) - RestoreFormer++: Towards Real-World Blind Face Restoration from
Undegraded Key-Value Pairs [63.991802204929485]
ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。
現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。
RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。
RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
論文 参考訳（メタデータ） (2023-08-14T16:04:53Z) - Towards Authentic Face Restoration with Iterative Diffusion Models and
Beyond [30.114913184727]
我々は$textbfIDM$, $textbfI$teratively learned face restoration systemを$textbfD$iffusionに基づいて提案する。
ブラインドフェイス修復作業における優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-18T06:31:01Z) - Identity Encoder for Personalized Diffusion [57.1198884486401]
パーソナライズのためのエンコーダに基づくアプローチを提案する。
我々は、被写体の参照画像の集合からアイデンティティ表現を抽出できるアイデンティティエンコーダを学習する。
提案手法は画像生成と再構成の両方において既存の微調整に基づくアプローチより一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-04-14T23:32:24Z) - Learning Dual Memory Dictionaries for Blind Face Restoration [75.66195723349512]
最近の研究は、主に2つの側面、すなわち、ジェネリックと特定の修復を別々に扱う。
本稿では,2つの辞書を通したジェネリックおよび特定の特徴を明示的に記憶することでDMDNetを提案する。
CelebRef-HQと呼ばれる新しい高品質なデータセットは、高解像度空間における特定の顔復元の探索を促進するために構築されている。
論文 参考訳（メタデータ） (2022-10-15T01:55:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。