論文の概要: Refined Geometry-guided Head Avatar Reconstruction from Monocular RGB Video

• arxiv url: http://arxiv.org/abs/2503.21886v1
• Date: Thu, 27 Mar 2025 18:02:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:31:30.267937
• Title: Refined Geometry-guided Head Avatar Reconstruction from Monocular RGB Video
• Title（参考訳）: 単眼RGBビデオによる頭部アバター再建術
• Authors: Pilseo Park, Ze Zhang, Michel Sarkis, Ning Bi, Xiaoming Liu, Yiying Tong,
• Abstract要約: 改良された3次元メッシュ表現を組み込んだ2相ヘッドアバター再構成ネットワークを提案する。 本手法は,複雑な顔のニュアンスをキャプチャするNeRFに適した洗練されたメッシュ表現を学習することを目的としている。 実験により,本手法は初期メッシュに基づくNeRFレンダリングをさらに強化することを示した。
• 参考スコア（独自算出の注目度）: 17.40020361277684
• License:
• Abstract: High-fidelity reconstruction of head avatars from monocular videos is highly desirable for virtual human applications, but it remains a challenge in the fields of computer graphics and computer vision. In this paper, we propose a two-phase head avatar reconstruction network that incorporates a refined 3D mesh representation. Our approach, in contrast to existing methods that rely on coarse template-based 3D representations derived from 3DMM, aims to learn a refined mesh representation suitable for a NeRF that captures complex facial nuances. In the first phase, we train 3DMM-stored NeRF with an initial mesh to utilize geometric priors and integrate observations across frames using a consistent set of latent codes. In the second phase, we leverage a novel mesh refinement procedure based on an SDF constructed from the density field of the initial NeRF. To mitigate the typical noise in the NeRF density field without compromising the features of the 3DMM, we employ Laplace smoothing on the displacement field. Subsequently, we apply a second-phase training with these refined meshes, directing the learning process of the network towards capturing intricate facial details. Our experiments demonstrate that our method further enhances the NeRF rendering based on the initial mesh and achieves performance superior to state-of-the-art methods in reconstructing high-fidelity head avatars with such input.
• Abstract（参考訳）: モノクロビデオから頭部アバターを高忠実に再構成することは、仮想人間のアプリケーションにとって非常に望ましいが、コンピュータグラフィックスやコンピュータビジョンの分野では依然として課題である。 本稿では,洗練された3Dメッシュ表現を組み込んだ2相ヘッドアバター再構成ネットワークを提案する。 3DMMから得られた粗いテンプレートに基づく3D表現に依存する既存の手法とは対照的に、複雑な顔のニュアンスをキャプチャするNeRFに適した洗練されたメッシュ表現を学習することを目的としている。 第1フェーズでは、3DMMを格納したNeRFを初期メッシュでトレーニングし、幾何学的事前利用と、一貫した潜在符号の集合を用いてフレーム間の観測を統合する。 第2フェーズでは、初期NeRFの密度場から構築したSDFに基づく新しいメッシュ改質手法を利用する。 3DMMの特徴を損なうことなく、NeRF密度場の典型的なノイズを軽減するために、変位場にラプラス平滑化を用いる。 次に、これらの洗練されたメッシュを用いて第2フェーズのトレーニングを適用し、複雑な顔の詳細を捉えるためのネットワークの学習プロセスを指示する。 実験により,本手法は初期メッシュに基づくNeRFレンダリングをさらに強化し,高忠実度ヘッドアバターの再構成における最先端手法よりも優れた性能を実現する。

関連論文リスト

• Learning Topology Uniformed Face Mesh by Volume Rendering for Multi-view Reconstruction [40.45683488053611]
  一貫性のあるトポロジにおける顔メッシュは、多くの顔関連アプリケーションの基盤となる。 トポロジを保存しながらメッシュ形状を直接最適化するメッシュボリュームレンダリング手法を提案する。 主要なイノベーションは、ボリュームレンダリングに必要な放射界をシミュレートするために、スパースメッシュ機能を周辺空間に広めることである。
  論文  参考訳（メタデータ） (2024-04-08T15:25:50Z)
• Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
  我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。 UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。 モデル化された結果が最先端のアプローチを上回る実験を行ないました。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real Image Animation [66.0838349951456]
  Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。 本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T18:36:45Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)
• LiP-Flow: Learning Inference-time Priors for Codec Avatars via Normalizing Flows in Latent Space [90.74976459491303]
  実行時入力に条件付けされた先行モデルを導入し、この先行空間を潜伏空間の正規化フローを介して3次元顔モデルに結びつける。 正規化フローは2つの表現空間をブリッジし、潜在サンプルをある領域から別の領域に変換することで、潜在可能性の目的を定義する。 提案手法は,表情のダイナミックスや微妙な表現をよりよく捉えることによって,表現的かつ効果的に先行することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:22:57Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。