論文の概要: VRMM: A Volumetric Relightable Morphable Head Model
- arxiv url: http://arxiv.org/abs/2402.04101v2
- Date: Wed, 8 May 2024 15:45:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-09 18:50:56.601909
- Title: VRMM: A Volumetric Relightable Morphable Head Model
- Title(参考訳): VRMM: ボリューム・リライナブルな定型ヘッドモデル
- Authors: Haotian Yang, Mingwu Zheng, Chongyang Ma, Yu-Kun Lai, Pengfei Wan, Haibin Huang,
- Abstract要約: 本稿では,3次元顔モデリングに先立って,新しい容積・パラメトリック顔モデルであるVRMMを紹介する。
我々のフレームワークは、アイデンティティ、表現、照明の潜在空間を、低次元の表現に効率的に切り離し、エンコードする。
我々は,アバター生成,顔の再構成,アニメーションなどの様々な応用を通じて,VRMMの汎用性と有効性を示す。
- 参考スコア(独自算出の注目度): 55.21098471673929
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce the Volumetric Relightable Morphable Model (VRMM), a novel volumetric and parametric facial prior for 3D face modeling. While recent volumetric prior models offer improvements over traditional methods like 3D Morphable Models (3DMMs), they face challenges in model learning and personalized reconstructions. Our VRMM overcomes these by employing a novel training framework that efficiently disentangles and encodes latent spaces of identity, expression, and lighting into low-dimensional representations. This framework, designed with self-supervised learning, significantly reduces the constraints for training data, making it more feasible in practice. The learned VRMM offers relighting capabilities and encompasses a comprehensive range of expressions. We demonstrate the versatility and effectiveness of VRMM through various applications like avatar generation, facial reconstruction, and animation. Additionally, we address the common issue of overfitting in generative volumetric models with a novel prior-preserving personalization framework based on VRMM. Such an approach enables high-quality 3D face reconstruction from even a single portrait input. Our experiments showcase the potential of VRMM to significantly enhance the field of 3D face modeling.
- Abstract(参考訳): 本稿では,3次元顔モデリングに先立って,新しい容積・パラメトリック顔モデルであるVRMMを紹介する。
最近のボリューム事前モデルは、3Dモーフブルモデル(3DMM)のような従来の手法よりも改善されているが、モデル学習やパーソナライズされた再構築では課題に直面している。
私たちのVRMMは、アイデンティティ、表現、照明の潜在空間を、低次元の表現に効率的に切り離し、エンコードする新しいトレーニングフレームワークを使用することで、これらを克服しています。
このフレームワークは、自己教師型学習で設計されており、データトレーニングの制約を著しく減らし、実際はより実現可能である。
学習したVRMMは、リライト機能を提供し、包括的な表現範囲を含んでいる。
我々は,アバター生成,顔の再構成,アニメーションなどの様々な応用を通して,VRMMの汎用性と有効性を示す。
さらに,VRMMをベースとした新規な保存型パーソナライゼーションフレームワークにより,生成ボリュームモデルにおけるオーバーフィッティングの問題に対処する。
このようなアプローチは、1枚のポートレート入力から高品質な3D顔の再構成を可能にする。
実験では,VRMMが3次元顔モデリングの分野を大幅に強化する可能性を示した。
関連論文リスト
- GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。
近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。
本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
論文 参考訳(メタデータ) (2024-07-21T06:03:11Z) - FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
動的顔の3Dレンダリングは難しい問題である。
本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
論文 参考訳(メタデータ) (2024-04-22T00:44:13Z) - InstantMesh: Efficient 3D Mesh Generation from a Single Image with Sparse-view Large Reconstruction Models [66.83681825842135]
InstantMeshは、単一のイメージからインスタント3Dメッシュを生成するためのフィードフォワードフレームワークである。
最新世代の品質とトレーニングのスケーラビリティが特徴だ。
InstantMeshのコード、重み、デモをすべてリリースし、3D生成AIのコミュニティに多大な貢献ができることを意図しています。
論文 参考訳(メタデータ) (2024-04-10T17:48:37Z) - SketchMetaFace: A Learning-based Sketching Interface for High-fidelity
3D Character Face Modeling [69.28254439393298]
SketchMetaFaceは、アマチュアユーザーを対象に、高忠実度3D顔を数分でモデリングするスケッチシステムである。
我々は"Implicit and Depth Guided Mesh Modeling"(IDGMM)と呼ばれる新しい学習ベース手法を開発した。
メッシュ、暗黙、深度表現の利点を融合させ、高い効率で高品質な結果を達成する。
論文 参考訳(メタデータ) (2023-07-03T07:41:07Z) - MA-NeRF: Motion-Assisted Neural Radiance Fields for Face Synthesis from
Sparse Images [21.811067296567252]
本研究では,高忠実度乾燥可能な顔アバターを再構成し,目に見えない表情を処理できる新しいフレームワークを提案する。
実装の核となるのは、構造化変位特徴と意味認識学習モジュールです。
我々の手法は現在の最先端技術よりもはるかに優れた結果が得られる。
論文 参考訳(メタデータ) (2023-06-17T13:49:56Z) - ASM: Adaptive Skinning Model for High-Quality 3D Face Modeling [11.885382595302751]
マルチビュー・アンキャリブレーション画像による再構成では,キャパシティがより高められた新しいモデルが要求される。
適応スキニングモデル (Adaptive Skinning Model, ASM) を提案する。
本研究は,パラメトリック顔モデル研究の新たな方向性を開拓し,多視点再構成の今後の研究を促進するものである。
論文 参考訳(メタデータ) (2023-04-19T04:55:28Z) - Learning Personalized High Quality Volumetric Head Avatars from
Monocular RGB Videos [47.94545609011594]
本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。
我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
論文 参考訳(メタデータ) (2023-04-04T01:10:04Z) - FNeVR: Neural Volume Rendering for Face Animation [53.92664037596834]
本研究では,2次元モーションワープと3次元ボリュームレンダリングの可能性を探るため,FNeVRネットワークを提案する。
FNeVRでは、画像レンダリングのための顔の詳細を強化するために、FVRモジュールを設計する。
また、軽量なポーズエディタを設計し、FNeVRが簡単にかつ効果的に顔のポーズを編集できるようにする。
論文 参考訳(メタデータ) (2022-09-21T13:18:59Z) - Shape My Face: Registering 3D Face Scans by Surface-to-Surface
Translation [75.59415852802958]
Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。
私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
論文 参考訳(メタデータ) (2020-12-16T20:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。