論文の概要: FitDiff: Robust monocular 3D facial shape and reflectance estimation
using Diffusion Models
- arxiv url: http://arxiv.org/abs/2312.04465v1
- Date: Thu, 7 Dec 2023 17:35:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 13:58:40.756750
- Title: FitDiff: Robust monocular 3D facial shape and reflectance estimation
using Diffusion Models
- Title(参考訳): FitDiff: 拡散モデルを用いたロバストモノクロ3次元顔形状と反射率推定
- Authors: Stathis Galanakis, Alexandros Lattas, Stylianos Moschoglou, Stefanos
Zafeiriou
- Abstract要約: 拡散型3次元顔アバター生成モデルFitDiffを提案する。
この装置は、"in-the-the-wild" 2D顔画像から抽出されたアイデンティティ埋め込みを利用して、再生可能な顔アバターを生成する。
顔認識の埋め込みを前提とした最初のLCMであるFitDiffは、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
- 参考スコア(独自算出の注目度): 85.45528952520468
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The remarkable progress in 3D face reconstruction has resulted in high-detail
and photorealistic facial representations. Recently, Diffusion Models have
revolutionized the capabilities of generative methods by achieving far better
performance than GANs. In this work, we present FitDiff, a diffusion-based 3D
facial avatar generative model. This model accurately generates relightable
facial avatars, utilizing an identity embedding extracted from an "in-the-wild"
2D facial image. Our multi-modal diffusion model concurrently outputs facial
reflectance maps (diffuse and specular albedo and normals) and shapes,
showcasing great generalization capabilities. It is solely trained on an
annotated subset of a public facial dataset, paired with 3D reconstructions. We
revisit the typical 3D facial fitting approach by guiding a reverse diffusion
process using perceptual and face recognition losses. Being the first LDM
conditioned on face recognition embeddings, FitDiff reconstructs relightable
human avatars, that can be used as-is in common rendering engines, starting
only from an unconstrained facial image, and achieving state-of-the-art
performance.
- Abstract(参考訳): 3次元顔再構成の顕著な進歩は、高精細で写真リアリスティックな顔表現をもたらす。
近年,拡散モデルがGANよりもはるかに優れた性能を達成し,生成手法の能力に革命をもたらした。
本研究では,拡散型3次元顔アバター生成モデルであるFitDiffを提案する。
このモデルは、"in-the-wild"の2d顔画像から抽出したアイデンティティ埋め込みを利用して、正確に再現可能な顔アバターを生成する。
マルチモーダル拡散モデルは、顔の反射率マップ(拡散および鏡面アルベドおよび正規値)と形状を同時に出力し、優れた一般化能力を示す。
3D再構成と組み合わせて、パブリックな顔データセットの注釈付きサブセットでのみトレーニングされる。
知覚的および顔認識的損失を用いた逆拡散過程を導くことにより, 従来の3次元顔形成法を再考する。
顔認識の埋め込みを前提とした最初のLCMであるFitDiffは、一般的なレンダリングエンジンで使用可能な、照らし出し可能な人間のアバターを再構築し、制約のない顔画像から始めて、最先端のパフォーマンスを達成する。
関連論文リスト
- Unsupervised Disentangling of Facial Representations with 3D-aware
Latent Diffusion Models [19.766682414244023]
顔表現と同一性表現のための非教師付き非教師付きアンタングリングフレームワークであるLatentFaceを提案する。
まず,顔画像を3次元ラテント埋め込みに符号化する3D対応オートエンコーダを提案する。
第2に,顔の識別と表情に3D潜伏する新しい表現拡散モデル(RDM)を提案する。
論文 参考訳(メタデータ) (2023-09-15T09:34:05Z) - Chupa: Carving 3D Clothed Humans from Skinned Shape Priors using 2D
Diffusion Probabilistic Models [9.479195068754507]
拡散モデルを用いてリアルな人間のデジタルアバターを生成する3D生成パイプラインを提案する。
われわれの方法であるChupaは、知覚的品質とアイデンティティの多様性を向上したリアルな3D衣服を作成できる。
論文 参考訳(メタデータ) (2023-05-19T17:59:18Z) - DiffusionRig: Learning Personalized Priors for Facial Appearance Editing [29.967273146028177]
DiffusionRigは、粗い3D顔モデルに条件付けされた拡散モデルである。
3D顔モデルの単純なレンダリングを、ある人のリアルな写真にマップする。
このようなパーソナライズされた事前情報でCGI-to- Photoマッピングを学習することで、DiffusionRigは、照明、表情、ヘッドポーズなどを“リグ”することができる。
論文 参考訳(メタデータ) (2023-04-13T17:58:00Z) - Generating 2D and 3D Master Faces for Dictionary Attacks with a
Network-Assisted Latent Space Evolution [68.8204255655161]
マスターフェイス(英: master face)とは、人口の比率の高い顔認証をパスする顔画像である。
2次元および3次元の顔認証モデルに対して,これらの顔の最適化を行う。
3Dでは,2次元スタイルGAN2ジェネレータを用いて顔を生成し,深部3次元顔再構成ネットワークを用いて3次元構造を予測する。
論文 参考訳(メタデータ) (2022-11-25T09:15:38Z) - 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。
このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
論文 参考訳(メタデータ) (2022-09-15T15:28:45Z) - AvatarMe++: Facial Shape and BRDF Inference with Photorealistic
Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。
本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文 参考訳(メタデータ) (2021-12-11T11:36:30Z) - Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement [11.422683083130577]
我々は,1枚の制約のない写真から人物の正規化された3Dアバターをデジタル化する,非常に堅牢なGANベースのフレームワークを提案する。
入力画像は笑顔でもよいし、極端な照明条件で撮影することもできるが、この方法は人の顔の質の高いテクスチャモデルを確実に作成することができる。
論文 参考訳(メタデータ) (2021-06-21T21:57:16Z) - Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。
DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。
本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
論文 参考訳(メタデータ) (2020-12-07T19:30:45Z) - DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。
私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。
登録された画像に対して,60fpsで3次元フローマップを生成する。
論文 参考訳(メタデータ) (2020-05-14T23:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。