論文の概要: Self-Supervised 3D Face Reconstruction via Conditional Estimation

• arxiv url: http://arxiv.org/abs/2110.04800v1
• Date: Sun, 10 Oct 2021 14:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 16:39:18.340855
• Title: Self-Supervised 3D Face Reconstruction via Conditional Estimation
• Title（参考訳）: 条件推定による自己監督型3次元顔再構成
• Authors: Yandong Wen, Weiyang Liu, Bhiksha Raj, Rita Singh
• Abstract要約: 本稿では,映像からの自己指導による2次元一眼画像から3次元顔のパラメータを学習するための条件推定(CEST)フレームワークを提案する。 CESTは合成による解析のプロセスに基づいており、顔画像から3次元の顔パラメータを推定し、2次元の顔画像の再構成に再結合する。
• 参考スコア（独自算出の注目度）: 40.63849508272411
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a conditional estimation (CEST) framework to learn 3D facial parameters from 2D single-view images by self-supervised training from videos. CEST is based on the process of analysis by synthesis, where the 3D facial parameters (shape, reflectance, viewpoint, and illumination) are estimated from the face image, and then recombined to reconstruct the 2D face image. In order to learn semantically meaningful 3D facial parameters without explicit access to their labels, CEST couples the estimation of different 3D facial parameters by taking their statistical dependency into account. Specifically, the estimation of any 3D facial parameter is not only conditioned on the given image, but also on the facial parameters that have already been derived. Moreover, the reflectance symmetry and consistency among the video frames are adopted to improve the disentanglement of facial parameters. Together with a novel strategy for incorporating the reflectance symmetry and consistency, CEST can be efficiently trained with in-the-wild video clips. Both qualitative and quantitative experiments demonstrate the effectiveness of CEST.
• Abstract（参考訳）: 本稿では,映像からの自己指導による2次元一眼画像から3次元顔のパラメータを学習するための条件推定(CEST)フレームワークを提案する。 cestは、顔画像から3次元顔パラメータ(形状、反射、視点、照明)を推定し、再結合して2次元顔画像を再構成する合成による分析のプロセスに基づいている。 ラベルに明示的にアクセスすることなく意味論的に意味のある3D顔パラメータを学習するために、CESTは統計的依存を考慮して異なる3D顔パラメータを推定する。 具体的には、任意の3次元顔パラメータの推定は、与えられた画像だけでなく、既に導出された顔パラメータにも条件付けられる。 さらに、映像フレーム間の反射率対称性と一貫性を採用し、顔パラメータの歪みを改善する。 反射率対称性と一貫性を取り入れた新しい戦略とともに、CESTは、線内ビデオクリップで効率的に訓練することができる。 定性的かつ定量的な実験はCESTの有効性を示す。

関連論文リスト

• SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
  現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。 本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
  論文  参考訳（メタデータ） (2024-09-12T12:30:04Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
  ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。 まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。 我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
  論文  参考訳（メタデータ） (2020-10-09T06:11:17Z)
• Unsupervised Learning Facial Parameter Regressor for Action Unit Intensity Estimation via Differentiable Renderer [51.926868759681014]
  骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。 提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
  論文  参考訳（メタデータ） (2020-08-20T09:49:13Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。