論文の概要: VRMM: A Volumetric Relightable Morphable Head Model
- arxiv url: http://arxiv.org/abs/2402.04101v1
- Date: Tue, 6 Feb 2024 15:55:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 14:03:19.634185
- Title: VRMM: A Volumetric Relightable Morphable Head Model
- Title(参考訳): VRMM: ボリューム・リライナブルな定型ヘッドモデル
- Authors: Haotian Yang, Mingwu Zheng, Chongyang Ma, Yu-Kun Lai, Pengfei Wan,
Haibin Huang
- Abstract要約: 本稿では,3次元顔モデリングに先立って,新しい容積・パラメトリック顔モデルであるVRMMを紹介する。
我々のフレームワークは、アイデンティティ、表現、照明の潜在空間を、低次元の表現に効率的に切り離し、エンコードする。
我々は,アバター生成,顔の再構成,アニメーションなどの様々な応用を通じて,VRMMの汎用性と有効性を示す。
- 参考スコア(独自算出の注目度): 58.50243291652417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce the Volumetric Relightable Morphable Model
(VRMM), a novel volumetric and parametric facial prior for 3D face modeling.
While recent volumetric prior models offer improvements over traditional
methods like 3D Morphable Models (3DMMs), they face challenges in model
learning and personalized reconstructions. Our VRMM overcomes these by
employing a novel training framework that efficiently disentangles and encodes
latent spaces of identity, expression, and lighting into low-dimensional
representations. This framework, designed with self-supervised learning,
significantly reduces the constraints for training data, making it more
feasible in practice. The learned VRMM offers relighting capabilities and
encompasses a comprehensive range of expressions. We demonstrate the
versatility and effectiveness of VRMM through various applications like avatar
generation, facial reconstruction, and animation. Additionally, we address the
common issue of overfitting in generative volumetric models with a novel
prior-preserving personalization framework based on VRMM. Such an approach
enables accurate 3D face reconstruction from even a single portrait input. Our
experiments showcase the potential of VRMM to significantly enhance the field
of 3D face modeling.
- Abstract(参考訳): 本稿では,3次元顔モデリングに先立って,新しい容積・パラメトリック顔モデルであるVRMMを紹介する。
最近のボリューム事前モデルは、3Dモーフブルモデル(3DMM)のような従来の手法よりも改善されているが、モデル学習やパーソナライズされた再構築では課題に直面している。
私たちのVRMMは、アイデンティティ、表現、照明の潜在空間を、低次元の表現に効率的に切り離し、エンコードする新しいトレーニングフレームワークを使用することで、これらを克服しています。
このフレームワークは、自己教師型学習で設計されており、データトレーニングの制約を著しく減らし、実際はより実現可能である。
学習したVRMMは、リライト機能を提供し、包括的な表現範囲を含んでいる。
我々は,アバター生成,顔の再構成,アニメーションなどの様々な応用を通じて,VRMMの汎用性と有効性を示す。
さらに,VRMMをベースとした新規な保存型パーソナライゼーションフレームワークにより,生成ボリュームモデルにおけるオーバーフィットの問題に対処する。
このようなアプローチは、1つのポートレート入力からでも正確な3D顔の復元を可能にする。
実験では,VRMMが3次元顔モデリングの分野を大幅に強化する可能性を示した。
関連論文リスト
- SketchMetaFace: A Learning-based Sketching Interface for High-fidelity
3D Character Face Modeling [69.28254439393298]
SketchMetaFaceは、アマチュアユーザーを対象に、高忠実度3D顔を数分でモデリングするスケッチシステムである。
我々は"Implicit and Depth Guided Mesh Modeling"(IDGMM)と呼ばれる新しい学習ベース手法を開発した。
メッシュ、暗黙、深度表現の利点を融合させ、高い効率で高品質な結果を達成する。
論文 参考訳(メタデータ) (2023-07-03T07:41:07Z) - MA-NeRF: Motion-Assisted Neural Radiance Fields for Face Synthesis from
Sparse Images [21.811067296567252]
本研究では,高忠実度乾燥可能な顔アバターを再構成し,目に見えない表情を処理できる新しいフレームワークを提案する。
実装の核となるのは、構造化変位特徴と意味認識学習モジュールです。
我々の手法は現在の最先端技術よりもはるかに優れた結果が得られる。
論文 参考訳(メタデータ) (2023-06-17T13:49:56Z) - ASM: Adaptive Skinning Model for High-Quality 3D Face Modeling [11.885382595302751]
マルチビュー・アンキャリブレーション画像による再構成では,キャパシティがより高められた新しいモデルが要求される。
適応スキニングモデル (Adaptive Skinning Model, ASM) を提案する。
本研究は,パラメトリック顔モデル研究の新たな方向性を開拓し,多視点再構成の今後の研究を促進するものである。
論文 参考訳(メタデータ) (2023-04-19T04:55:28Z) - Learning Personalized High Quality Volumetric Head Avatars from
Monocular RGB Videos [47.94545609011594]
本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。
我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
論文 参考訳(メタデータ) (2023-04-04T01:10:04Z) - High-fidelity Facial Avatar Reconstruction from Monocular Video with
Generative Priors [29.293166730794606]
そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。
既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
論文 参考訳(メタデータ) (2022-11-28T04:49:46Z) - FNeVR: Neural Volume Rendering for Face Animation [53.92664037596834]
本研究では,2次元モーションワープと3次元ボリュームレンダリングの可能性を探るため,FNeVRネットワークを提案する。
FNeVRでは、画像レンダリングのための顔の詳細を強化するために、FVRモジュールを設計する。
また、軽量なポーズエディタを設計し、FNeVRが簡単にかつ効果的に顔のポーズを編集できるようにする。
論文 参考訳(メタデータ) (2022-09-21T13:18:59Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳(メタデータ) (2021-11-30T04:10:57Z) - Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual
Reality [68.18446501943585]
ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える
最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。
本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
論文 参考訳(メタデータ) (2021-04-10T15:48:53Z) - Shape My Face: Registering 3D Face Scans by Surface-to-Surface
Translation [75.59415852802958]
Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。
私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
論文 参考訳(メタデータ) (2020-12-16T20:02:36Z) - Personalized Face Modeling for Improved Face Reconstruction and Motion
Retargeting [22.24046752858929]
本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。
具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。
実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
論文 参考訳(メタデータ) (2020-07-14T01:30:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。