論文の概要: Learning an Animatable Detailed 3D Face Model from In-The-Wild Images

• arxiv url: http://arxiv.org/abs/2012.04012v1
• Date: Mon, 7 Dec 2020 19:30:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:20:20.441150
• Title: Learning an Animatable Detailed 3D Face Model from In-The-Wild Images
• Title（参考訳）: In-The-Wild画像からアニメーション可能な詳細3次元顔モデルの学習
• Authors: Yao Feng and Haiwen Feng and Michael J. Black and Timo Bolkart
• Abstract要約: 本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
• 参考スコア（独自算出の注目度）: 50.09971525995828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While current monocular 3D face reconstruction methods can recover fine geometric details, they suffer several limitations. Some methods produce faces that cannot be realistically animated because they do not model how wrinkles vary with expression. Other methods are trained on high-quality face scans and do not generalize well to in-the-wild images. We present the first approach to jointly learn a model with animatable detail and a detailed 3D face regressor from in-the-wild images that recovers shape details as well as their relationship to facial expressions. Our DECA (Detailed Expression Capture and Animation) model is trained to robustly produce a UV displacement map from a low-dimensional latent representation that consists of person-specific detail parameters and generic expression parameters, while a regressor is trained to predict detail, shape, albedo, expression, pose and illumination parameters from a single image. We introduce a novel detail-consistency loss to disentangle person-specific details and expression-dependent wrinkles. This disentanglement allows us to synthesize realistic person-specific wrinkles by controlling expression parameters while keeping person-specific details unchanged. DECA achieves state-of-the-art shape reconstruction accuracy on two benchmarks. Qualitative results on in-the-wild data demonstrate DECA's robustness and its ability to disentangle identity and expression dependent details enabling animation of reconstructed faces. The model and code are publicly available at https://github.com/YadiraF/DECA.
• Abstract（参考訳）: 現在のモノキュラー3d顔再構成法は微細な幾何学的詳細を復元できるが、いくつかの制限がある。 一部の方法は、表現によってしわがどう変化するかをモデル化しないため、現実的にアニメーションできない顔を作る。 その他の方法は高品質な顔スキャンで訓練されており、Wild画像によく当てはまらない。 本研究は,画像の形状や表情との関係を再現した画像から,アニマタブルなディテールを持つモデルと詳細な3次元顔回帰器を共同で学習する試みである。 deca(detailed expression capture and animation)モデルは、人物固有のディテールパラメータとジェネリック表現パラメータからなる低次元の潜在表現からロバストにuv変位マップを生成するように訓練され、レグレッサーは、ディテール、形状、アルベド、表現、ポーズ、照明パラメータを単一の画像から予測するように訓練される。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。 この絡み合いにより、表現パラメータを制御しつつ、人固有の詳細を変更せずに、現実的な人特有のしわを合成できる。 DECAは2つのベンチマークで最先端の形状復元精度を達成する。 フィールド内データの質的な結果は、DECAの頑健さと、再構成された顔のアニメーションを可能にするアイデンティティと表現依存の詳細を分離する能力を示している。 モデルとコードはhttps://github.com/YadiraF/DECAで公開されている。

関連論文リスト

• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and Dynamic Details [66.74088288846491]
  HiFaceは、動的かつ静的なディテールで高忠実な3D顔再構成を目指している。 我々は、いくつかの損失関数を利用して、粗い形状と、合成データセットと実世界のデータセットの両方で詳細を共同で学習する。
  論文  参考訳（メタデータ） (2023-03-20T16:07:02Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Personalized Face Modeling for Improved Face Reconstruction and Motion Retargeting [22.24046752858929]
  本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。 具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。 実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-14T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。