論文の概要: HeadRecon: High-Fidelity 3D Head Reconstruction from Monocular Video

• arxiv url: http://arxiv.org/abs/2312.08863v1
• Date: Thu, 14 Dec 2023 12:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 22:35:47.273040
• Title: HeadRecon: High-Fidelity 3D Head Reconstruction from Monocular Video
• Title（参考訳）: HeadRecon:モノクロ映像から高忠実な3Dヘッドレコン
• Authors: Xueying Wang and Juyong Zhang
• Abstract要約: 任意のモノクラービデオから高忠実度3Dヘッドモデルの再構成について検討する。 本稿では,これらの問題に対処するために,事前誘導型動的暗黙的ニューラルネットワークを提案する。
• 参考スコア（独自算出の注目度）: 37.53752896927615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the reconstruction of high-fidelity 3D head models from static portrait image has made great progress. However, most methods require multi-view or multi-illumination information, which therefore put forward high requirements for data acquisition. In this paper, we study the reconstruction of high-fidelity 3D head models from arbitrary monocular videos. Non-rigid structure from motion (NRSFM) methods have been widely used to solve such problems according to the two-dimensional correspondence between different frames. However, the inaccurate correspondence caused by high-complex hair structures and various facial expression changes would heavily influence the reconstruction accuracy. To tackle these problems, we propose a prior-guided dynamic implicit neural network. Specifically, we design a two-part dynamic deformation field to transform the current frame space to the canonical one. We further model the head geometry in the canonical space with a learnable signed distance field (SDF) and optimize it using the volumetric rendering with the guidance of two-main head priors to improve the reconstruction accuracy and robustness. Extensive ablation studies and comparisons with state-of-the-art methods demonstrate the effectiveness and robustness of our proposed method.
• Abstract（参考訳）: 近年,静止像からの高忠実度3次元頭部モデルの再構築が進んでいる。 しかし、ほとんどの方法はマルチビューやマルチイルミネーション情報を必要とするため、データ取得に高い要求が生じる。 本稿では,任意の単眼映像から高忠実度3dヘッドモデルの再構成について検討する。 動きからの非剛性構造 (NRSFM) 法は, 異なるフレーム間の2次元対応により, この問題の解決に広く用いられている。 しかし,高コンプレックス毛髪構造や表情の変化によって生じる不正確な対応は,復元精度に大きく影響する。 これらの問題に対処するために,先導型動的暗黙的ニューラルネットワークを提案する。 具体的には、現在のフレーム空間を標準空間に変換するための2部動的変形場を設計する。 さらに、学習可能な符号付き距離場(SDF)を用いて標準空間の頭部形状をモデル化し、2つの主頭部の誘導によるボリュームレンダリングを用いて最適化し、復元精度とロバスト性を向上させる。 大規模アブレーション研究と最先端手法との比較により,提案手法の有効性とロバスト性を示した。

関連論文リスト

• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field [81.07651217942679]
  トーキングヘッド生成は、ソース画像の識別情報を保持し、駆動画像の動作を模倣する顔を生成することを目的としている。 我々は高忠実かつ自由視点の対話ヘッド合成を実現するHiDe-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-11T09:47:35Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• End-to-End Multi-View Structure-from-Motion with Hypercorrelation Volumes [7.99536002595393]
  この問題に対処するために深層学習技術が提案されている。 我々は現在最先端の2次元構造であるSfM(SfM)のアプローチを改善している。 一般的なマルチビューのケースに拡張し、複雑なベンチマークデータセットDTUで評価する。
  論文  参考訳（メタデータ） (2022-09-14T20:58:44Z)
• Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
  モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:54Z)
• H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction [27.66008315400462]
  表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。 我々はこれらの制限を,数発のフル3次元頭部再構成の特定の問題に対処する。 暗黙の表現を用いて,数千個の不完全な生スキャンから3次元頭部形状モデルを学習する。
  論文  参考訳（メタデータ） (2021-07-26T23:04:18Z)
• Prior-Guided Multi-View 3D Head Reconstruction [28.126115947538572]
  従来の多視点ステレオ法は, 頭部構造が不明瞭なり, 毛髪部が不正確であったりするなどの低周波構造に悩まされていた。 この問題に対処するため,我々は事前誘導型暗黙的ニューラルネットワークを提案する。 これらの先行技術を利用することで、復元精度とロバスト性が向上し、高品質な3Dヘッドモデルが実現される。
  論文  参考訳（メタデータ） (2021-07-09T07:43:56Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。