論文の概要: High-Fidelity 3D Head Avatars Reconstruction through Spatially-Varying Expression Conditioned Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2310.06275v1
• Date: Tue, 10 Oct 2023 03:13:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 20:58:10.776188
• Title: High-Fidelity 3D Head Avatars Reconstruction through Spatially-Varying Expression Conditioned Neural Radiance Field
• Title（参考訳）: 高忠実度3次元頭部アバターの空間可変表現型ニューラルラジアンスフィールドによる再構成
• Authors: Minghan Qin, Yifan Liu, Yuelang Xu, Xiaochen Zhao, Yebin Liu, Haoqian Wang
• Abstract要約: 本稿では,空間変動表現(SVE)の条件付けについて紹介する。 提案したSVE条件のニューラルラジアンス場は複雑な表情に対処でき、高忠実度3Dヘッドアバターのリアルなレンダリングと幾何学的詳細を実現することができる。 提案手法は,携帯電話および公開データセット上でのレンダリングおよび幾何学的品質において,他の最先端(SOTA)手法よりも優れる。
• 参考スコア（独自算出の注目度）: 44.37605022793316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One crucial aspect of 3D head avatar reconstruction lies in the details of facial expressions. Although recent NeRF-based photo-realistic 3D head avatar methods achieve high-quality avatar rendering, they still encounter challenges retaining intricate facial expression details because they overlook the potential of specific expression variations at different spatial positions when conditioning the radiance field. Motivated by this observation, we introduce a novel Spatially-Varying Expression (SVE) conditioning. The SVE can be obtained by a simple MLP-based generation network, encompassing both spatial positional features and global expression information. Benefiting from rich and diverse information of the SVE at different positions, the proposed SVE-conditioned neural radiance field can deal with intricate facial expressions and achieve realistic rendering and geometry details of high-fidelity 3D head avatars. Additionally, to further elevate the geometric and rendering quality, we introduce a new coarse-to-fine training strategy, including a geometry initialization strategy at the coarse stage and an adaptive importance sampling strategy at the fine stage. Extensive experiments indicate that our method outperforms other state-of-the-art (SOTA) methods in rendering and geometry quality on mobile phone-collected and public datasets.
• Abstract（参考訳）: 3D頭部アバター再建の1つの重要な側面は表情の細部にある。 近年のNeRFベースの光リアル3Dヘッドアバター法は高品質なアバターレンダリングを実現するが、放射野の条件付け時に異なる空間位置における特定の表情変化の可能性を見落としているため、複雑な表情の詳細を保ったままの課題に直面する。 本研究の目的は,新しい空間変化表現(SVE)条件の導入である。 SVEは、空間的位置特徴と大域的表現情報の両方を含む、単純なMLPベースの生成ネットワークで得ることができる。 異なる位置におけるSVEの多種多様な情報から、提案されたSVE条件の神経放射場は、複雑な表情に対処し、高忠実度3Dヘッドアバターのリアルなレンダリングと幾何学的詳細を実現することができる。 さらに, 幾何学的, レンダリング的品質をさらに高めるために, 粗い段階における幾何学的初期化戦略と, 微妙な段階における適応的重要サンプリング戦略を含む, 新たな粗さから細かなトレーニング戦略を導入する。 大規模な実験により,携帯電話および公開データセットのレンダリングおよび幾何学的品質において,本手法が他の最先端(SOTA)手法よりも優れていることが示された。

関連論文リスト

• HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field [44.848368616444446]
  我々は,NeRFの表現性とパラメトリックテンプレートからの事前情報を統合する,新しいハイブリッド・明示的3次元表現,顔モデル条件付きニューラルラジアンス場を導入する。 画像から画像への変換ネットワークを用いた全体的なGANアーキテクチャを採用することにより,動的頭部外観の高分解能,現実的,かつ一貫した合成を実現する。
  論文  参考訳（メタデータ） (2023-09-29T10:45:22Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。