論文の概要: DNPM: A Neural Parametric Model for the Synthesis of Facial Geometric Details

• arxiv url: http://arxiv.org/abs/2405.19688v2
• Date: Fri, 14 Jun 2024 03:18:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 18:23:16.548352
• Title: DNPM: A Neural Parametric Model for the Synthesis of Facial Geometric Details
• Title（参考訳）: DNPM:顔の幾何学的詳細の合成のためのニューラルパラメトリックモデル
• Authors: Haitao Cao, Baoping Cheng, Qiran Pu, Haocheng Zhang, Bin Luo, Yixiang Zhuang, Juncong Lin, Liyan Chen, Xuan Cheng,
• Abstract要約: 3次元顔モデリングでは、3DMMが最も広く使われているパラメトリックモデルであるが、アイデンティティや表現入力のみから詳細な幾何学的詳細を生成することはできない。 そこで我々は, 深層ニューラルネットワークを用いて, 詳細やしわを符号化した顔変位図から潜時符号を抽出するDNPMというニューラルパラメトリックモデルを提案する。 DNPMとDetailed3DMMは、音声駆動の詳細な3D顔アニメーションと、劣化画像からの3D顔再構成の2つのダウンストリームアプリケーションに役立つことを示す。
• 参考スコア（独自算出の注目度）: 8.849223786633083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parametric 3D models have enabled a wide variety of computer vision and graphics tasks, such as modeling human faces, bodies and hands. In 3D face modeling, 3DMM is the most widely used parametric model, but can't generate fine geometric details solely from identity and expression inputs. To tackle this limitation, we propose a neural parametric model named DNPM for the facial geometric details, which utilizes deep neural network to extract latent codes from facial displacement maps encoding details and wrinkles. Built upon DNPM, a novel 3DMM named Detailed3DMM is proposed, which augments traditional 3DMMs by including the synthesis of facial details only from the identity and expression inputs. Moreover, we show that DNPM and Detailed3DMM can facilitate two downstream applications: speech-driven detailed 3D facial animation and 3D face reconstruction from a degraded image. Extensive experiments have shown the usefulness of DNPM and Detailed3DMM, and the progressiveness of two proposed applications.
• Abstract（参考訳）: パラメトリック3Dモデルは、人間の顔、体、手をモデル化するなど、幅広いコンピュータビジョンとグラフィックタスクを可能にした。 3次元顔モデリングでは、3DMMが最も広く使われているパラメトリックモデルであるが、アイデンティティや表現入力のみから詳細な幾何学的詳細を生成することはできない。 この制限に対処するために,ディープニューラルネットワークを用いて細部やしわを符号化した顔変位マップから潜時符号を抽出するDNPMと呼ばれるニューラルパラメトリックモデルを提案する。 DNPMをベースとして、Detailed3DMMと呼ばれる新しい3DMMが提案されている。 さらに、DNPMとDetailed3DMMは、音声駆動の詳細な3D顔アニメーションと劣化画像からの3D顔再構成の2つのダウンストリーム応用を促進することができることを示す。 DNPMとDetailed3DMMの有用性、および2つの提案された応用の進歩性を示した。

関連論文リスト

• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• Deep-MDS Framework for Recovering the 3D Shape of 2D Landmarks from a Single Image [8.368476827165114]
  本稿では,人間の顔上の2次元ランドマークの3次元形状を,単一の入力画像で再現する枠組みを提案する。 ディープニューラルネットワークは、NMDSアプローチで使用される2Dランドマーク間のペアの相似性を学習する。
  論文  参考訳（メタデータ） (2022-10-27T06:20:10Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• Synergy between 3DMM and 3D Landmarks for Accurate 3D Facial Geometry [21.051258644469268]
  本研究は3次元形態素モデル(3DMM)と3次元顔のランドマークの相乗過程から学習する。 我々は、3次元アライメント、顔の向き、および3次元顔モデリングを含む、完全な3次元顔形状を予測する。
  論文  参考訳（メタデータ） (2021-10-19T07:29:14Z)
• NPMs: Neural Parametric Models for 3D Deformable Shapes [26.87200488085741]
  従来のパラメトリックな3Dモデルに代わる新しい学習モデルを提案する。 特に、4次元ダイナミクスを形とポーズの潜在空間表現に分解することを学ぶ。 我々は,NPMがヒトと手の単分子深度配列の再構築と追跡において,パラメトリック状態と非パラメトリック状態の両方よりも顕著に改善していることを示す。
  論文  参考訳（メタデータ） (2021-04-01T18:14:56Z)
• Realistic face animation generation from videos [2.398608007786179]
  3次元顔の再構成と顔のアライメントは、コンピュータビジョンにおける2つの基本的かつ高機能なトピックである。 近年,深層学習モデルを用いて3dmm係数を推定して3d顔形状を再構成する研究が始まっている。 この問題に対処するために、3DMM係数の計算を完全に回避できるエンドツーエンド手法を提案する。
  論文  参考訳（メタデータ） (2021-03-27T20:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。