論文の概要: DiffFace: Diffusion-based Face Swapping with Facial Guidance
- arxiv url: http://arxiv.org/abs/2212.13344v1
- Date: Tue, 27 Dec 2022 02:51:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 15:18:21.791614
- Title: DiffFace: Diffusion-based Face Swapping with Facial Guidance
- Title（参考訳）: DiffFace: 顔面誘導機能付き拡散型顔スワップ
- Authors: Kihong Kim, Yunho Kim, Seokju Cho, Junyoung Seo, Jisu Nam, Kychul Lee,
Seungryong Kim, KwangHee Lee
- Abstract要約: DiffFaceと呼ばれる拡散型顔交換フレームワークを初めて提案する。
トレーニングID条件DDPM、顔誘導によるサンプリング、および目標保存ブレンディングで構成されている。
DiffFaceは、トレーニングの安定性、高い忠実度、サンプルの多様性、制御性など、よりよいメリットを実現している。
- 参考スコア（独自算出の注目度）: 24.50570533781642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a diffusion-based face swapping framework for the
first time, called DiffFace, composed of training ID conditional DDPM, sampling
with facial guidance, and a target-preserving blending. In specific, in the
training process, the ID conditional DDPM is trained to generate face images
with the desired identity. In the sampling process, we use the off-the-shelf
facial expert models to make the model transfer source identity while
preserving target attributes faithfully. During this process, to preserve the
background of the target image and obtain the desired face swapping result, we
additionally propose a target-preserving blending strategy. It helps our model
to keep the attributes of the target face from noise while transferring the
source facial identity. In addition, without any re-training, our model can
flexibly apply additional facial guidance and adaptively control the
ID-attributes trade-off to achieve the desired results. To the best of our
knowledge, this is the first approach that applies the diffusion model in face
swapping task. Compared with previous GAN-based approaches, by taking advantage
of the diffusion model for the face swapping task, DiffFace achieves better
benefits such as training stability, high fidelity, diversity of the samples,
and controllability. Extensive experiments show that our DiffFace is comparable
or superior to the state-of-the-art methods on several standard face swapping
benchmarks.
- Abstract（参考訳）: 本稿では,拡散型顔交換フレームワークdifffaceを提案し,id条件付きddpmのトレーニング,顔誘導によるサンプリング,目標保存ブレンドを行った。
具体的には、トレーニングプロセスにおいて、ID条件DDPMをトレーニングし、所望のアイデンティティで顔画像を生成する。
サンプリングプロセスでは,対象属性を忠実に保存しながら,市販の顔専門家モデルを用いてモデル転送元を識別する。
この過程で、対象画像の背景を保存し、所望の顔交換結果を得るため、さらに、目標保存ブレンド戦略を提案する。
モデルが対象の顔の属性をノイズから遠ざけるのに役立つと同時に、元の顔のアイデンティティーを転送します。
さらに, モデルでは, 顔認証を柔軟に適用し, ID属性のトレードオフを適応的に制御することで, 望ましい結果が得られる。
私たちの知る限りでは、これは顔交換タスクに拡散モデルを適用する最初のアプローチです。
従来のGANベースのアプローチと比較して、顔交換タスクの拡散モデルを活用することで、DiffFaceはトレーニング安定性、高い忠実度、サンプルの多様性、制御性といった利点を享受できる。
広範な実験により、我々のdifffaceは、いくつかの標準フェイススワッピングベンチマークで最先端のメソッドに匹敵するか、優れていることが示された。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - ID$^3$: Identity-Preserving-yet-Diversified Diffusion Models for Synthetic Face Recognition [60.15830516741776]
合成顔認識(SFR)は、実際の顔データの分布を模倣するデータセットを生成することを目的としている。
拡散燃料SFRモデルであるtextID3$を紹介します。
textID3$はID保存損失を利用して、多様だがアイデンティティに一貫性のある顔の外観を生成する。
論文 参考訳（メタデータ） (2024-09-26T06:46:40Z) - Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。
インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。
私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
論文 参考訳（メタデータ） (2024-09-11T13:43:53Z) - A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳（メタデータ） (2023-12-31T17:41:48Z) - High-Fidelity Face Swapping with Style Blending [16.024260677867076]
高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。
まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。
第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
論文 参考訳（メタデータ） (2023-12-17T23:22:37Z) - Controllable Inversion of Black-Box Face Recognition Models via
Diffusion [8.620807177029892]
我々は,事前学習した顔認識モデルの潜在空間を,完全なモデルアクセスなしで反転させる作業に取り組む。
本研究では,条件付き拡散モデル損失が自然発生し,逆分布から効果的にサンプル化できることを示す。
本手法は,生成過程を直感的に制御できる最初のブラックボックス顔認識モデル逆変換法である。
論文 参考訳（メタデータ） (2023-03-23T03:02:09Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳（メタデータ） (2023-03-07T19:16:20Z) - GMFIM: A Generative Mask-guided Facial Image Manipulation Model for
Privacy Preservation [0.7734726150561088]
入力顔画像に知覚不可能な編集を適用するために,GANをベースとしたマスク誘導顔画像マニピュレーションモデルを提案する。
我々のモデルは、最先端の手法と比較して、自動顔認識システムに対してより良い性能を実現することができる。
論文 参考訳（メタデータ） (2022-01-10T14:09:14Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T03:10:17Z) - DotFAN: A Domain-transferred Face Augmentation Network for Pose and
Illumination Invariant Face Recognition [94.96686189033869]
本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。
DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。
実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
論文 参考訳（メタデータ） (2020-02-23T08:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。