論文の概要: FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models

• arxiv url: http://arxiv.org/abs/2312.04465v2
• Date: Tue, 4 Jun 2024 11:08:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 13:47:23.471014
• Title: FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models
• Title（参考訳）: FitDiff: 拡散モデルを用いたロバストモノクロ3次元顔形状と反射率推定
• Authors: Stathis Galanakis, Alexandros Lattas, Stylianos Moschoglou, Stefanos Zafeiriou,
• Abstract要約: 拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
• 参考スコア（独自算出の注目度）: 79.65289816077629
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The remarkable progress in 3D face reconstruction has resulted in high-detail and photorealistic facial representations. Recently, Diffusion Models have revolutionized the capabilities of generative methods by surpassing the performance of GANs. In this work, we present FitDiff, a diffusion-based 3D facial avatar generative model. Leveraging diffusion principles, our model accurately generates relightable facial avatars, utilizing an identity embedding extracted from an "in-the-wild" 2D facial image. The introduced multi-modal diffusion model is the first to concurrently output facial reflectance maps (diffuse and specular albedo and normals) and shapes, showcasing great generalization capabilities. It is solely trained on an annotated subset of a public facial dataset, paired with 3D reconstructions. We revisit the typical 3D facial fitting approach by guiding a reverse diffusion process using perceptual and face recognition losses. Being the first 3D LDM conditioned on face recognition embeddings, FitDiff reconstructs relightable human avatars, that can be used as-is in common rendering engines, starting only from an unconstrained facial image, and achieving state-of-the-art performance.
• Abstract（参考訳）: 3次元顔再構成の顕著な進歩は、高精細で写真リアリスティックな顔表現をもたらす。 近年,拡散モデルがGANの性能を超越して生成手法の能力に革命をもたらした。 本研究では拡散型3次元顔アバター生成モデルであるFitDiffを提案する。 拡散原理を応用して,本モデルでは,「未使用」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現可能な顔アバターを正確に生成する。 導入されたマルチモーダル拡散モデルは、顔の反射率マップ(拡散と特異なアルベドと正規)と形状を同時に出力し、優れた一般化能力を示す最初のものである。 3D再構成と組み合わせて、パブリックな顔データセットの注釈付きサブセットでのみトレーニングされる。 我々は,知覚的・顔認識的損失を用いた逆拡散過程を導くことによって,典型的な3次元顔合わせ法を再検討する。 顔認識の埋め込みを前提とした最初の3D LDMであるFitDiffは、一般的なレンダリングエンジンで使用可能な、照らし出し可能な人間のアバターを再構築する。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• 3D Priors-Guided Diffusion for Blind Face Restoration [30.94188504133298]
  劣化した顔画像から鮮明な顔画像を復元するためのブラインド顔復元作業。 近年,GAN(Generative Adversarial Networks)を先行するアプローチが顕著な成功を収めている。 本稿では,3次元顔前処理を構造的制約と同一性制約として組み込んだ拡散に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-02T07:13:32Z)
• AnimateMe: 4D Facial Expressions via Diffusion Models [72.63383191654357]
  拡散モデルの最近の進歩により、2次元アニメーションにおける生成モデルの能力が向上した。 グラフニューラルネットワーク(GNN)は,メッシュ空間上で直接拡散過程を定式化し,新しい手法で拡散モデルを記述する。 これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。
  論文  参考訳（メタデータ） (2024-03-25T21:40:44Z)
• A Generative Framework for Self-Supervised Facial Representation Learning [18.094262972295702]
  自己教師付き表現学習は、ペア化されたデータセットに頼ることなく、強力な一般化能力に注目されるようになった。 自己監督型顔表現学習は、顔のアイデンティティ、表情、ポーズや光といった外部要因の結合により未解決のままである。 自己教師型顔表現のための新しい生成フレームワークであるLatentFaceを提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:34:05Z)
• Chupa: Carving 3D Clothed Humans from Skinned Shape Priors using 2D Diffusion Probabilistic Models [9.479195068754507]
  拡散モデルを用いてリアルな人間のデジタルアバターを生成する3D生成パイプラインを提案する。 われわれの方法であるChupaは、知覚的品質とアイデンティティの多様性を向上したリアルな3D衣服を作成できる。
  論文  参考訳（メタデータ） (2023-05-19T17:59:18Z)
• DiffusionRig: Learning Personalized Priors for Facial Appearance Editing [29.967273146028177]
  DiffusionRigは、粗い3D顔モデルに条件付けされた拡散モデルである。 3D顔モデルの単純なレンダリングを、ある人のリアルな写真にマップする。 このようなパーソナライズされた事前情報でCGI-to- Photoマッピングを学習することで、DiffusionRigは、照明、表情、ヘッドポーズなどを“リグ”することができる。
  論文  参考訳（メタデータ） (2023-04-13T17:58:00Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。