論文の概要: Overcoming False Illusions in Real-World Face Restoration with Multi-Modal Guided Diffusion Model
- arxiv url: http://arxiv.org/abs/2410.04161v1
- Date: Sat, 5 Oct 2024 13:46:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 13:51:18.584314
- Title: Overcoming False Illusions in Real-World Face Restoration with Multi-Modal Guided Diffusion Model
- Title（参考訳）: マルチモーダル誘導拡散モデルによる実世界の顔修復における虚偽イリュージョンの克服
- Authors: Keda Tao, Jinjin Gu, Yulun Zhang, Xiucheng Wang, Nan Cheng,
- Abstract要約: 本稿では,新しいマルチモーダル・リアル・ワールド・フェイス・リカバリ技術を紹介する。
MGFRは偽の顔の特徴とアイデンティティの生成を緩和することができる。
5000のアイデンティティにまたがる23,000以上の高解像度の顔画像からなるReface-HQデータセットを提案する。
- 参考スコア（独自算出の注目度）: 55.46927355649013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel Multi-modal Guided Real-World Face Restoration (MGFR) technique designed to improve the quality of facial image restoration from low-quality inputs. Leveraging a blend of attribute text prompts, high-quality reference images, and identity information, MGFR can mitigate the generation of false facial attributes and identities often associated with generative face restoration methods. By incorporating a dual-control adapter and a two-stage training strategy, our method effectively utilizes multi-modal prior information for targeted restoration tasks. We also present the Reface-HQ dataset, comprising over 23,000 high-resolution facial images across 5,000 identities, to address the need for reference face training images. Our approach achieves superior visual quality in restoring facial details under severe degradation and allows for controlled restoration processes, enhancing the accuracy of identity preservation and attribute correction. Including negative quality samples and attribute prompts in the training further refines the model's ability to generate detailed and perceptually accurate images.
- Abstract（参考訳）: 低品質入力から顔画像復元の質を向上させるために, MGFR (Multi-modal Guided Real-World Face Restoration) 技術を導入した。
MGFRは、属性テキストのプロンプト、高品質の参照画像、アイデンティティ情報を組み合わせることで、偽の顔属性や、生成的顔復元法に関連するアイデンティティの生成を緩和することができる。
デュアルコントロールアダプタと2段階のトレーニング戦略を組み込むことで,目的とする修復作業において,マルチモーダル事前情報を効果的に活用する。
また、5000のアイデンティティにまたがる23,000以上の高解像度の顔画像からなるReface-HQデータセットを提示し、参照顔訓練画像の必要性に対処する。
本手法は, 顔の細部を高度劣化下で復元する際の視覚的品質を向上し, 復元過程の制御が可能となり, 同一性保存の精度と属性補正の精度が向上する。
トレーニングに否定的な品質サンプルと属性プロンプトを含めることで、詳細かつ知覚的に正確な画像を生成するモデルの能力をさらに洗練する。
関連論文リスト
- AuthFace: Towards Authentic Blind Face Restoration with Face-oriented Generative Diffusion Prior [13.27748226506837]
ブラインドフェイス修復(BFR)は、コンピュータビジョンにおける基本的な問題である。
最近の研究は、強力な事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルによる顔画像の先行性に依存している。
本稿では,顔指向生成拡散を先行して探索することにより,顔復元の精度を高めるAuthFaceを提案する。
論文 参考訳（メタデータ） (2024-10-13T14:56:13Z) - DSL-FIQA: Assessing Facial Image Quality via Dual-Set Degradation Learning and Landmark-Guided Transformer [23.70791030264281]
Generic Face Image Quality Assessment (GFIQA) は、顔画像の知覚的品質を評価する。
本稿では,GFIQAのトランスフォーマーに基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T23:11:25Z) - PFStorer: Personalized Face Restoration and Super-Resolution [19.479263766534345]
顔修復の最近の進歩は、高品質でライフスタイルのアウトプットを生み出すことに顕著な成果を上げている。
しかし、驚くべき結果は、モデルに必要なコンテキストが欠如しているため、人のアイデンティティに忠実でないことがしばしばあります。
提案手法では, 個人像を用いて復元モデルをパーソナライズし, 詳細な情報を保持しつつ, 個人像に対して調整した復元を行う。
論文 参考訳（メタデータ） (2024-03-13T11:39:30Z) - Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild [57.06779516541574]
SUPIR (Scaling-UP Image Restoration) は、生成前処理とモデルスケールアップのパワーを利用する、画期的な画像復元手法である。
モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
論文 参考訳（メタデータ） (2024-01-24T17:58:07Z) - RestoreFormer++: Towards Real-World Blind Face Restoration from
Undegraded Key-Value Pairs [63.991802204929485]
ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。
現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。
RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。
RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
論文 参考訳（メタデータ） (2023-08-14T16:04:53Z) - Towards Authentic Face Restoration with Iterative Diffusion Models and
Beyond [30.114913184727]
我々は$textbfIDM$, $textbfI$teratively learned face restoration systemを$textbfD$iffusionに基づいて提案する。
ブラインドフェイス修復作業における優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-18T06:31:01Z) - Multi-Prior Learning via Neural Architecture Search for Blind Face
Restoration [61.27907052910136]
Blind Face Restoration (BFR)は、高品質な顔画像から高品質な顔画像を復元することを目的としている。
1)手動チューニングを伴わない強力なネットワークアーキテクチャの導出方法,2) 複数の顔前者からの補完情報を1つのネットワークで取得して復元性能を向上させる方法,の2つの大きな課題がある。
特定検索空間内において,適切な特徴抽出アーキテクチャを適応的に探索する顔復元検索ネットワーク(FRSNet)を提案する。
論文 参考訳（メタデータ） (2022-06-28T12:29:53Z) - RestoreFormer: High-Quality Blind Face Restoration From Undegraded
Key-Value Pairs [48.33214614798882]
RestoreFormerを提案する。これはコンテキスト情報をモデル化するための完全な空間的注意を探索する。
破損したクエリと高品質なキー-バリューペア間の完全な空間的相互作用を学習する。
1つの合成データセットと3つの実世界のデータセットにおいて、最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2022-01-17T12:21:55Z) - Network Architecture Search for Face Enhancement [82.25775020564654]
我々は、NASFE(Network Architecture Search for Face Enhancement)と呼ばれるマルチタスクの顔復元ネットワークを提案する。
NASFEは、単一の劣化(すなわち)を含む低品質の顔画像を高めることができる。
ノイズまたはぼやけ)または複数の劣化(ノイズ+ブラル+ローライト)
論文 参考訳（メタデータ） (2021-05-13T19:46:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。