論文の概要: TCDiff: Triple Condition Diffusion Model with 3D Constraints for Stylizing Synthetic Faces
- arxiv url: http://arxiv.org/abs/2409.03600v1
- Date: Thu, 5 Sep 2024 14:59:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 20:15:17.167735
- Title: TCDiff: Triple Condition Diffusion Model with 3D Constraints for Stylizing Synthetic Faces
- Title(参考訳): TCDiff:合成顔のスチル化のための3次元制約付き3次元条件拡散モデル
- Authors: Bernardo Biesseck, Pedro Vidal, Luiz Coelho, Roger Granada, David Menotti|,
- Abstract要約: 新しいデータセットの1k、2k、5kクラスを用いた顔認識実験は、実顔ベンチマークで最先端の合成データセットをトレーニングする。
- 参考スコア(独自算出の注目度): 1.7535229154829601
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A robust face recognition model must be trained using datasets that include a large number of subjects and numerous samples per subject under varying conditions (such as pose, expression, age, noise, and occlusion). Due to ethical and privacy concerns, large-scale real face datasets have been discontinued, such as MS1MV3, and synthetic face generators have been proposed, utilizing GANs and Diffusion Models, such as SYNFace, SFace, DigiFace-1M, IDiff-Face, DCFace, and GANDiffFace, aiming to supply this demand. Some of these methods can produce high-fidelity realistic faces, but with low intra-class variance, while others generate high-variance faces with low identity consistency. In this paper, we propose a Triple Condition Diffusion Model (TCDiff) to improve face style transfer from real to synthetic faces through 2D and 3D facial constraints, enhancing face identity consistency while keeping the necessary high intra-class variance. Face recognition experiments using 1k, 2k, and 5k classes of our new dataset for training outperform state-of-the-art synthetic datasets in real face benchmarks such as LFW, CFP-FP, AgeDB, and BUPT. Our source code is available at: https://github.com/BOVIFOCR/tcdiff.
- Abstract(参考訳): 堅牢な顔認識モデルは、さまざまな条件(ポーズ、表現、年齢、騒音、閉塞など)の下で、多数の被験者と被験者毎の多数のサンプルを含むデータセットを使用してトレーニングされなければならない。
倫理的・プライバシー上の懸念から、MS1MV3のような大規模な実顔データセットは廃止され、SynFace、SFace、DigiFace-1M、IDiff-Face、DCFace、GANDiffFaceといったGANと拡散モデルを利用した合成顔生成が提案されている。
これらの手法のいくつかは、高忠実な現実的な顔を生成することができるが、クラス内分散の低い顔を生成する一方、アイデンティティの整合性の低い顔を生成する。
本稿では,3つの条件拡散モデル(TCDiff, Triple Condition Diffusion Model, TCDiff)を提案する。
LFW,CFP-FP, AgeDB, BUPTなどの実顔ベンチマークにおいて, 最先端の合成データセットをトレーニングするための新しいデータセットの1k, 2k, 5kクラスを用いた顔認識実験を行った。
私たちのソースコードは、https://github.com/BOVIFOCR/tcdiff.comで公開されています。
関連論文リスト
- Arc2Face: A Foundation Model for ID-Consistent Human Faces [95.00331107591859]
Arc2Faceは、ID条件のフェイスファンデーションモデルである。
既存のモデルと無矛盾の顔類似度で、多様なフォトリアリスティック画像を生成することができる。
論文 参考訳(メタデータ) (2024-03-18T10:32:51Z) - Controllable 3D Face Generation with Conditional Style Code Diffusion [51.24656496304069]
TEx-Face(TExt & Expression-to-Face)は、タスクを3D GANインバージョン、条件付きスタイルコード拡散、3D Face Decodingという3つのコンポーネントに分割することで、課題に対処する。
FFHQ、CelebA-HQ、CelebA-Dialogで実施された実験は、我々のTEx-Faceの有望なパフォーマンスを実証している。
論文 参考訳(メタデータ) (2023-12-21T15:32:49Z) - FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
拡散型3次元顔アバター生成モデルFitDiffを提案する。
本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。
FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
論文 参考訳(メタデータ) (2023-12-07T17:35:49Z) - DCFace: Synthetic Face Generation with Dual Condition Diffusion Model [18.662943303044315]
本稿では拡散モデルに基づくDCFace(Dual Condition Face Generator)を提案する。
われわれの新しいPatch-wiseスタイル抽出器と時間ステップ依存ID損失により、DCFaceは、同じ対象の顔画像を、正確に制御された異なるスタイルで一貫して生成することができる。
論文 参考訳(メタデータ) (2023-04-14T11:31:49Z) - Generating 2D and 3D Master Faces for Dictionary Attacks with a
Network-Assisted Latent Space Evolution [68.8204255655161]
マスターフェイス(英: master face)とは、人口の比率の高い顔認証をパスする顔画像である。
2次元および3次元の顔認証モデルに対して,これらの顔の最適化を行う。
3Dでは,2次元スタイルGAN2ジェネレータを用いて顔を生成し,深部3次元顔再構成ネットワークを用いて3次元構造を予測する。
論文 参考訳(メタデータ) (2022-11-25T09:15:38Z) - Generated Faces in the Wild: Quantitative Comparison of Stable
Diffusion, Midjourney and DALL-E 2 [47.64219291655723]
本研究では, 安定拡散, ミッドジャーニー, DALL-E2 の3つの人気システムを比較し, 野生で光現実的な顔を生成する能力について比較した。
FIDスコアによると、安定拡散は他のシステムよりも優れた顔を生成する。
また,GFWと呼ばれる野生の顔のデータセットも導入し,総顔数は15,076面である。
論文 参考訳(メタデータ) (2022-10-02T17:53:08Z) - FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer
Using Neural Generative Adversarial Networks [0.7043489166804575]
顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。
本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
論文 参考訳(メタデータ) (2021-12-01T14:42:03Z) - Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement [11.422683083130577]
我々は,1枚の制約のない写真から人物の正規化された3Dアバターをデジタル化する,非常に堅牢なGANベースのフレームワークを提案する。
入力画像は笑顔でもよいし、極端な照明条件で撮影することもできるが、この方法は人の顔の質の高いテクスチャモデルを確実に作成することができる。
論文 参考訳(メタデータ) (2021-06-21T21:57:16Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - SuperFront: From Low-resolution to High-resolution Frontal Face
Synthesis [65.35922024067551]
本稿では,前頭前頭部を保存した高品質なアイデンティティを生成できるGANモデルを提案する。
具体的には,高分解能(HR)面を1対多のLR面から様々なポーズで合成するSuperFront-GANを提案する。
超高解像度のサイドビューモジュールをSF-GANに統合し、人事空間におけるアイデンティティ情報とサイドビューの詳細を保存します。
論文 参考訳(メタデータ) (2020-12-07T23:30:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。