論文の概要: AuthFace: Towards Authentic Blind Face Restoration with Face-oriented Generative Diffusion Prior

• arxiv url: http://arxiv.org/abs/2410.09864v1
• Date: Sun, 13 Oct 2024 14:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 04:32:54.090256
• Title: AuthFace: Towards Authentic Blind Face Restoration with Face-oriented Generative Diffusion Prior
• Title（参考訳）: AuthFace: 顔指向生成拡散を用いた認証ブラインド顔復元に向けて
• Authors: Guoqiang Liang, Qingnan Fan, Bingtao Fu, Jinwei Chen, Hong Gu, Lin Wang,
• Abstract要約: ブラインドフェイス修復(BFR)は、コンピュータビジョンにおける基本的な問題である。 最近の研究は、強力な事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルによる顔画像の先行性に依存している。 本稿では,顔指向生成拡散を先行して探索することにより,顔復元の精度を高めるAuthFaceを提案する。
• 参考スコア（独自算出の注目度）: 13.27748226506837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Blind face restoration (BFR) is a fundamental and challenging problem in computer vision. To faithfully restore high-quality (HQ) photos from poor-quality ones, recent research endeavors predominantly rely on facial image priors from the powerful pretrained text-to-image (T2I) diffusion models. However, such priors often lead to the incorrect generation of non-facial features and insufficient facial details, thus rendering them less practical for real-world applications. In this paper, we propose a novel framework, namely AuthFace that achieves highly authentic face restoration results by exploring a face-oriented generative diffusion prior. To learn such a prior, we first collect a dataset of 1.5K high-quality images, with resolutions exceeding 8K, captured by professional photographers. Based on the dataset, we then introduce a novel face-oriented restoration-tuning pipeline that fine-tunes a pretrained T2I model. Identifying key criteria of quality-first and photography-guided annotation, we involve the retouching and reviewing process under the guidance of photographers for high-quality images that show rich facial features. The photography-guided annotation system fully explores the potential of these high-quality photographic images. In this way, the potent natural image priors from pretrained T2I diffusion models can be subtly harnessed, specifically enhancing their capability in facial detail restoration. Moreover, to minimize artifacts in critical facial areas, such as eyes and mouth, we propose a time-aware latent facial feature loss to learn the authentic face restoration process. Extensive experiments on the synthetic and real-world BFR datasets demonstrate the superiority of our approach.
• Abstract（参考訳）: ブラインド顔復元(BFR)は、コンピュータビジョンにおける基本的な問題である。 高品質な(本社)写真を品質の悪いものから忠実に復元するために、最近の研究は、主に強力な事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルからの顔画像に頼っている。 しかし、そのような先行は、しばしば非顔的特徴の誤った生成と顔の詳細の不足を招き、現実のアプリケーションでは実用的でない。 本稿では,顔指向生成拡散を先行して探索することにより,顔復元の精度を高める新しいフレームワークであるAuthFaceを提案する。 このような事前を学習するために、私たちはまず1.5Kの高品質な画像のデータセットを収集し、解像度は8Kを超え、プロの写真家が捉えた。 データセットに基づいて、トレーニング済みのT2Iモデルを微調整する、顔指向の復元調整パイプラインを導入する。 画質優先アノテーションと写真誘導アノテーションの重要な基準を同定し、リッチな顔特徴を示す高品質な画像に対する写真家の指導の下で、修正とレビューのプロセスを含む。 写真誘導アノテーションシステムは、これらの高品質な写真画像の可能性を完全に探求する。 このように、事前訓練されたT2I拡散モデルから得られる強力な自然画像は微妙に利用でき、特に顔のディテール復元におけるその能力を高めることができる。 また,目や口などの重要な顔面領域のアーチファクトを最小限に抑えるため,顔の復元過程の学習に時間を要する潜伏顔の特徴損失を提案する。 人工的および実世界のBFRデータセットに関する大規模な実験は、我々のアプローチの優位性を実証している。

関連論文リスト

• Overcoming False Illusions in Real-World Face Restoration with Multi-Modal Guided Diffusion Model [55.46927355649013]
  本稿では,新しいマルチモーダル・リアル・ワールド・フェイス・リカバリ技術を紹介する。 MGFRは偽の顔の特徴とアイデンティティの生成を緩和することができる。 5000のアイデンティティにまたがる23,000以上の高解像度の顔画像からなるReface-HQデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-05T13:46:56Z)
• Towards Real-World Blind Face Restoration with Generative Diffusion Prior [69.84480964328465]
  ブラインド顔の復元はコンピュータビジョンにおいて重要な課題であり、広範囲の応用により注目されている。 低画質の顔画像から特徴を効果的に抽出するBFRffusionを提案する。 また、人種、性別、年齢といったバランスのとれた属性を備えたPFHQというプライバシ保護顔データセットも構築しています。
  論文  参考訳（メタデータ） (2023-12-25T14:16:24Z)
• Effective Adapter for Face Recognition in the Wild [72.75516495170199]
  私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。 従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。 高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:55:46Z)
• HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces [47.27033282706179]
  提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。 提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。 我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-20T11:59:42Z)
• A Survey of Deep Face Restoration: Denoise, Super-Resolution, Deblur, Artifact Removal [177.21001709272144]
  顔復元(FR)は、低品質(LQ)入力画像から高品質(HQ)顔を復元することを目的としている。 本稿では,顔修復のための深層学習技術の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2022-11-05T07:08:15Z)
• Multi-Prior Learning via Neural Architecture Search for Blind Face Restoration [61.27907052910136]
  Blind Face Restoration (BFR)は、高品質な顔画像から高品質な顔画像を復元することを目的としている。 1)手動チューニングを伴わない強力なネットワークアーキテクチャの導出方法,2) 複数の顔前者からの補完情報を1つのネットワークで取得して復元性能を向上させる方法,の2つの大きな課題がある。 特定検索空間内において,適切な特徴抽出アーキテクチャを適応的に探索する顔復元検索ネットワーク(FRSNet)を提案する。
  論文  参考訳（メタデータ） (2022-06-28T12:29:53Z)
• Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior [29.17397958948725]
  本稿では,前向きに顔の再生を行うブラインド・フェイス・リカバリ・ネットワークを提案する。 我々のモデルは、顔の復元や顔の超解像処理において、従来の技術よりも優れている。
  論文  参考訳（メタデータ） (2022-05-28T09:23:48Z)
• Joint Face Image Restoration and Frontalization for Recognition [79.78729632975744]
  現実世界のシナリオでは、大きなポーズ、悪い照明、低解像度、ぼやけ、ノイズなど、多くの要因が顔認識性能を損なう可能性がある。 それまでの努力は通常、まず品質の低い顔から高品質な顔に復元し、次に顔認識を行う。 与えられた低品質の顔からフロンダル化された高品質の顔を復元する多段階顔復元モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-12T03:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。