論文の概要: Learning Complete 3D Morphable Face Models from Images and Videos

• arxiv url: http://arxiv.org/abs/2010.01679v1
• Date: Sun, 4 Oct 2020 20:51:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 02:55:36.719387
• Title: Learning Complete 3D Morphable Face Models from Images and Videos
• Title（参考訳）: 画像とビデオから完全な3d morphable face modelを学習する
• Authors: Mallikarjun B R and Ayush Tewari and Hans-Peter Seidel and Mohamed Elgharib and Christian Theobalt
• Abstract要約: 本稿では,画像やビデオから顔形状,アルベド,表現の完全な3次元モデルを学ぶための最初のアプローチを提案する。 既存の手法よりも,学習モデルの方がより一般化し,高品質な画像ベース再構築につながることを示す。
• 参考スコア（独自算出の注目度）: 88.34033810328201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most 3D face reconstruction methods rely on 3D morphable models, which disentangle the space of facial deformations into identity geometry, expressions and skin reflectance. These models are typically learned from a limited number of 3D scans and thus do not generalize well across different identities and expressions. We present the first approach to learn complete 3D models of face identity geometry, albedo and expression just from images and videos. The virtually endless collection of such data, in combination with our self-supervised learning-based approach allows for learning face models that generalize beyond the span of existing approaches. Our network design and loss functions ensure a disentangled parameterization of not only identity and albedo, but also, for the first time, an expression basis. Our method also allows for in-the-wild monocular reconstruction at test time. We show that our learned models better generalize and lead to higher quality image-based reconstructions than existing approaches.
• Abstract（参考訳）: ほとんどの3d顔再構成法は3d morphable modelに依存しており、顔の変形の空間をアイデンティティの幾何学、表情、皮膚の反射に分解する。 これらのモデルは通常、限られた数の3dスキャンから学べるので、異なるアイデンティティや表現をまたいでうまく一般化できない。 本稿では,画像やビデオから顔形状,アルベド,表現の完全な3次元モデルを学ぶための最初のアプローチを提案する。 このようなデータの事実上無限の収集と、自己教師付き学習ベースのアプローチを組み合わせることで、既存のアプローチを越えて一般化された顔モデルを学ぶことができます。 我々のネットワーク設計と損失関数は、アイデンティティとアルベドだけでなく、初めて表現ベースを乱したパラメータ化を保証する。 また, 本手法では, 試験時に単眼内再構成も可能とした。 既存の手法よりも,学習モデルの方がより一般化し,高品質な画像ベース再構築につながることを示す。

関連論文リスト

• SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
  現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。 本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
  論文  参考訳（メタデータ） (2024-09-12T12:30:04Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• Identity-Expression Ambiguity in 3D Morphable Face Models [5.38250259923059]
  同一性や表現の変化の非直交性は3次元形態素モデルにおいて自己表現の曖昧さを引き起こす可能性があることを示す。 我々はこの効果を3次元形状と逆レンダリングタスクで直接示す。
  論文  参考訳（メタデータ） (2021-09-29T06:11:43Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
  ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。 まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。 我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
  論文  参考訳（メタデータ） (2020-10-09T06:11:17Z)
• Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency [40.56510679634943]
  マルチビュー幾何整合性を利用した自己教師付きトレーニングアーキテクチャを提案する。 画素の整合性損失,奥行きの整合性損失,顔のランドマークに基づくエピポーラロスを含む,多視点整合性のための3つの新しい損失関数を設計する。 提案手法は精度が高く,特に多彩な表現,ポーズ,照明条件下では堅牢である。
  論文  参考訳（メタデータ） (2020-07-24T12:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。