論文の概要: Personalized Face Modeling for Improved Face Reconstruction and Motion
Retargeting
- arxiv url: http://arxiv.org/abs/2007.06759v2
- Date: Fri, 17 Jul 2020 23:08:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 14:44:37.927179
- Title: Personalized Face Modeling for Improved Face Reconstruction and Motion
Retargeting
- Title（参考訳）: 顔再構成とモーションリターゲティングの改善のためのパーソナライズされた顔モデリング
- Authors: Bindita Chaudhuri, Noranart Vesdapunt, Linda Shapiro, Baoyuan Wang
- Abstract要約: 本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。
具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。
実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
- 参考スコア（独自算出の注目度）: 22.24046752858929
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional methods for image-based 3D face reconstruction and facial motion
retargeting fit a 3D morphable model (3DMM) to the face, which has limited
modeling capacity and fail to generalize well to in-the-wild data. Use of
deformation transfer or multilinear tensor as a personalized 3DMM for
blendshape interpolation does not address the fact that facial expressions
result in different local and global skin deformations in different persons.
Moreover, existing methods learn a single albedo per user which is not enough
to capture the expression-specific skin reflectance variations. We propose an
end-to-end framework that jointly learns a personalized face model per user and
per-frame facial motion parameters from a large corpus of in-the-wild videos of
user expressions. Specifically, we learn user-specific expression blendshapes
and dynamic (expression-specific) albedo maps by predicting personalized
corrections on top of a 3DMM prior. We introduce novel constraints to ensure
that the corrected blendshapes retain their semantic meanings and the
reconstructed geometry is disentangled from the albedo. Experimental results
show that our personalization accurately captures fine-grained facial dynamics
in a wide range of conditions and efficiently decouples the learned face model
from facial motion, resulting in more accurate face reconstruction and facial
motion retargeting compared to state-of-the-art methods.
- Abstract（参考訳）: 画像ベースの3d顔再構成と顔の動き再ターゲティングの伝統的な方法は、3d morphable model(3dmm)を顔に適合させる。
混合形状補間のためのパーソナライズされた3DMMとしての変形伝達や多線形テンソルの使用は、表情が異なる人物の局所的および大域的な皮膚変形をもたらすという事実に対処しない。
さらに、既存手法では、表現特異的な皮膚反射率の変化を捉えるのに十分ではない、ユーザ毎の単一のアルベドを学習する。
本稿では,ユーザ毎のパーソナライズされた顔モデルとフレーム毎の顔の動きパラメータを,ユーザ表現の膨大なビデオコーパスから共同で学習するエンドツーエンドフレームワークを提案する。
具体的には,3dmm前後のパーソナライズされた補正を予測し,ユーザ固有表現ブレンド形状と動的(表現固有)アルベドマップを学習する。
補正されたブレンド形状が意味的意味を保ち、再構成された幾何学がアルベドから切り離されていることを保証するために、新しい制約を導入する。
実験の結果, 顔の微粒度を広範囲に把握し, 学習した顔モデルと顔の動きを効率的に分離し, 最新の手法と比較して, より正確な顔再構成と顔面運動再ターゲティングを実現することができた。
関連論文リスト
- SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。
本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
論文 参考訳（メタデータ） (2024-09-12T12:30:04Z) - ImFace++: A Sophisticated Nonlinear 3D Morphable Face Model with Implicit Neural Representations [25.016000421755162]
本稿では,暗黙のニューラル表現を持つ高度で連続的な空間を学習するために,ImFace++という新しい3次元顔モデルを提案する。
ImFace++は、まず2つの明示的に歪んだ変形フィールドを構築し、アイデンティティと式に関連する複雑な形状をモデル化する。
さらにテンプレート空間内の精細化変位場が組み込まれ、個々の顔の詳細をきめ細かな学習が可能となる。
論文 参考訳（メタデータ） (2023-12-07T03:53:53Z) - BlendFields: Few-Shot Example-Driven Facial Modeling [35.86727715239676]
本稿では,従来のコンピュータグラフィックス技術からインスピレーションを得てギャップを埋める手法を提案する。
見えない表現は、極端なポーズのスパースセットからの外観をブレンドすることによってモデル化される。
本研究では, 顔の滑らかな体積変形の上に, きめ細かな効果を加えることによって, 表情を一般化する手法を示す。
論文 参考訳（メタデータ） (2023-05-12T14:30:07Z) - ImFace: A Nonlinear 3D Morphable Face Model with Implicit Neural
Representations [21.389170615787368]
本稿では,暗黙のニューラル表現を持つ非線形かつ連続的な空間を学習するために,新しい3次元顔モデルImFaceを提案する。
2つの明示的に非交叉な変形場を構築し、それぞれアイデンティティと表現に関連する複雑な形状をモデル化し、表現の埋め込みを拡張するための改良された学習戦略を設計する。
ImFaceに加えて、暗黙の表現における水密入力要求の問題に対処するために、効果的な前処理パイプラインが提案されている。
論文 参考訳（メタデータ） (2022-03-28T05:37:59Z) - Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。
提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。
本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
論文 参考訳（メタデータ） (2022-03-18T01:42:59Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳（メタデータ） (2021-06-18T07:39:09Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T03:10:17Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-06T04:16:06Z) - Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。
DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。
本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
論文 参考訳（メタデータ） (2020-12-07T19:30:45Z) - Learning Complete 3D Morphable Face Models from Images and Videos [88.34033810328201]
本稿では,画像やビデオから顔形状,アルベド,表現の完全な3次元モデルを学ぶための最初のアプローチを提案する。
既存の手法よりも,学習モデルの方がより一般化し,高品質な画像ベース再構築につながることを示す。
論文 参考訳（メタデータ） (2020-10-04T20:51:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。