論文の概要: MonoNPHM: Dynamic Head Reconstruction from Monocular Videos

• arxiv url: http://arxiv.org/abs/2312.06740v1
• Date: Mon, 11 Dec 2023 17:55:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 18:21:26.523717
• Title: MonoNPHM: Dynamic Head Reconstruction from Monocular Videos
• Title（参考訳）: MonoNPHM:モノクロビデオからの動的頭部再構成
• Authors: Simon Giebenhain, Tobias Kirschstein, Markos Georgopoulos, Martin R\"unz, Lourdes Agapito, Matthias Nie{\ss}ner
• Abstract要約: モノクラーRGBビデオからの動的3次元頭部再構成のためのモノクラーニューラルパラメトリックヘッドモデル(MonoNPHM)を提案する。 我々は、RGBからの勾配が逆レンダリング中の潜時幾何学符号に効果的に影響を及ぼすような、下層の幾何学と相関する予測色値を制約する。
• 参考スコア（独自算出の注目度）: 10.103834832072348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Monocular Neural Parametric Head Models (MonoNPHM) for dynamic 3D head reconstructions from monocular RGB videos. To this end, we propose a latent appearance space that parameterizes a texture field on top of a neural parametric model. We constrain predicted color values to be correlated with the underlying geometry such that gradients from RGB effectively influence latent geometry codes during inverse rendering. To increase the representational capacity of our expression space, we augment our backward deformation field with hyper-dimensions, thus improving color and geometry representation in topologically challenging expressions. Using MonoNPHM as a learned prior, we approach the task of 3D head reconstruction using signed distance field based volumetric rendering. By numerically inverting our backward deformation field, we incorporated a landmark loss using facial anchor points that are closely tied to our canonical geometry representation. To evaluate the task of dynamic face reconstruction from monocular RGB videos we record 20 challenging Kinect sequences under casual conditions. MonoNPHM outperforms all baselines with a significant margin, and makes an important step towards easily accessible neural parametric face models through RGB tracking.
• Abstract（参考訳）: モノクラーRGBビデオからの動的3次元頭部再構成のためのモノクラーニューラルパラメトリックヘッドモデル(MonoNPHM)を提案する。 そこで本研究では,神経パラメトリックモデル上にテクスチャ場をパラメータ化する潜在外観空間を提案する。 我々は、RGBからの勾配が逆レンダリング中の潜時幾何学符号に効果的に影響を及ぼすような、下層の幾何学と相関する予測色値を制約する。 表現空間の表現能力を高めるために,超次元で後方変形場を拡大し,位相的に困難な表現における色や幾何学的表現を改善する。 先行学習としてMonoNPHMを用いて,符号付き距離場に基づくボリュームレンダリングを用いた3次元頭部再構成の課題にアプローチする。 後ろ向きの変形場を数値的に反転させることで,我々の正準幾何学的表現と密接な結びつきを持つ顔アンカーポイントを用いたランドマークロスを組み込んだ。 単眼RGBビデオからの動的顔再構成の課題を評価するために,カジュアル条件下でのKinectシークエンスを20個記録する。 MonoNPHMはすべてのベースラインを大きなマージンで上回り、RGBトラッキングを通じて容易にアクセス可能なニューラルパラメトリック顔モデルに向けた重要なステップとなる。

関連論文リスト

• Normal-guided Detail-Preserving Neural Implicit Functions for High-Fidelity 3D Surface Reconstruction [6.4279213810512665]
  RGBまたはRGBD画像からニューラル暗黙表現を学習する現在の方法は、欠落した部分と詳細を持つ3D曲面を生成する。 本稿では,1次微分特性を持つニューラル表現のトレーニング,すなわち表面正規化が,高精度な3次元表面再構成をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-06-07T11:48:47Z)
• MorpheuS: Neural Dynamic 360° Surface Reconstruction from Monocular RGB-D Video [14.678582015968916]
  我々は,カジュアルにキャプチャされたRGB-Dビデオから動的360度表面再構成を行うMorpheuSを紹介する。 我々のアプローチは、ターゲットシーンを、その幾何学と外観を符号化する標準フィールドとしてモデル化する。 我々は、ビュー依存拡散を先取りし、その知識を蒸留し、観測されていない領域の現実的な完成を達成する。
  論文  参考訳（メタデータ） (2023-12-01T18:55:53Z)
• DynamicSurf: Dynamic Neural RGB-D Surface Reconstruction with an Optimizable Feature Grid [7.702806654565181]
  DynamicSurfは、モノクロRGB-Dビデオから非剛体表面の高忠実度3Dモデリングのためのモデルのない暗黙表面再構成手法である。 我々は、表面幾何学の正準表現を現在のフレームにマッピングする神経変形場を学習する。 我々は、純粋ベースアプローチよりも6ドルのスピードアップで、様々なフレームのシーケンスを最適化できることを実証した。
  論文  参考訳（メタデータ） (2023-11-14T13:39:01Z)
• DiViNeT: 3D Reconstruction from Disparate Views via Neural Template Regularization [7.488962492863031]
  本稿では3つの異なるRGB画像を入力として用いたボリュームレンダリングに基づくニューラルサーフェス再構成手法を提案する。 我々のキーとなる考え方は再建を規則化することであり、これは深刻な問題であり、スパースビューの間に大きなギャップを埋めることである。 提案手法は, 従来の手法の中でも, 疎外な視点で, 最高の復元品質を達成できる。
  論文  参考訳（メタデータ） (2023-06-07T18:05:14Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects [63.04781030984006]
  ダイナミック・ニューラル・ラジアンス・フィールド(英語版)(NeRF)は、動的シーンの単眼RGBビデオからフォトリアリスティック・ノベル・ビュー・イメージをレンダリングできる強力なアルゴリズムである。 観測空間の表面位置と配向に条件付される神経放射場関数を再構成することにより,その限界に対処する。 本研究では,現実的な環境下での異なる移動スペクトルオブジェクトの自己合成データセットを用いて,新しいビュー合成品質に基づくモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-25T11:03:53Z)
• NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
  本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。 実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
  論文  参考訳（メタデータ） (2022-10-22T04:57:55Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
  学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。 ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。 Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
  論文  参考訳（メタデータ） (2020-11-03T02:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。