論文の概要: HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2309.17128v1
• Date: Fri, 29 Sep 2023 10:45:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 14:37:32.517025
• Title: HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field
• Title（参考訳）: havatar: face model conditioned neural radiance fieldによる高忠実な頭部アバター
• Authors: Xiaochen Zhao, Lizhen Wang, Jingxiang Sun, Hongwen Zhang, Jinli Suo, Yebin Liu
• Abstract要約: 我々は,NeRFの表現性とパラメトリックテンプレートからの事前情報を統合する,新しいハイブリッド・明示的3次元表現,顔モデル条件付きニューラルラジアンス場を導入する。 画像から画像への変換ネットワークを用いた全体的なGANアーキテクチャを採用することにより,動的頭部外観の高分解能,現実的,かつ一貫した合成を実現する。
• 参考スコア（独自算出の注目度）: 44.848368616444446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of modeling an animatable 3D human head avatar under light-weight setups is of significant importance but has not been well solved. Existing 3D representations either perform well in the realism of portrait images synthesis or the accuracy of expression control, but not both. To address the problem, we introduce a novel hybrid explicit-implicit 3D representation, Facial Model Conditioned Neural Radiance Field, which integrates the expressiveness of NeRF and the prior information from the parametric template. At the core of our representation, a synthetic-renderings-based condition method is proposed to fuse the prior information from the parametric model into the implicit field without constraining its topological flexibility. Besides, based on the hybrid representation, we properly overcome the inconsistent shape issue presented in existing methods and improve the animation stability. Moreover, by adopting an overall GAN-based architecture using an image-to-image translation network, we achieve high-resolution, realistic and view-consistent synthesis of dynamic head appearance. Experiments demonstrate that our method can achieve state-of-the-art performance for 3D head avatar animation compared with previous methods.
• Abstract（参考訳）: 軽量設定下での3次元頭部アバターのモデル化は重要な課題であるが,まだ十分に解決されていない。 既存の3d表現は、ポートレート画像合成のリアリズムや表現制御の精度でうまく機能するが、両方ではない。 そこで我々は,NeRFの表現性とパラメトリックテンプレートからの事前情報を統合した,新しいハイブリッドな3D表現,顔モデル条件付きニューラルラジアンス場を提案する。 我々の表現の核となるのは、パラメトリックモデルからの事前情報をそのトポロジ的柔軟性を制約することなく暗黙の場に融合させる合成レンダリングに基づく条件法である。 また,このハイブリッド表現に基づき,既存手法における不整合形状問題を適切に克服し,アニメーションの安定性を向上する。 さらに,画像から画像への変換ネットワークを用いたGANアーキテクチャを採用することにより,動的頭部外観の高分解能,現実的,かつ一貫した合成を実現する。 実験により,従来の手法と比較して3次元頭部アバターアニメーションの最先端性能が得られた。

関連論文リスト

• 3D Gaussian Parametric Head Model [40.62136721707944]
  本稿では,人間の頭部の複雑さを正確に表現するために3次元ガウス的パラメトリックヘッドモデルを提案する。 シームレスな顔のポートレートと、単一の画像から詳細な頭部アバターの再構築を可能にする。 提案手法は,高画質でリアルタイムな実写レンダリングを実現し,パラメトリックヘッドモデルの分野に有意義な貢献をする。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• Morphable Diffusion: 3D-Consistent Diffusion for Single-image Avatar Creation [14.064983137553353]
  我々は、制御可能な光リアルな人間のアバターを作成するために、生成拡散モデルの品質と機能を高めることを目的としている。 我々は,3次元形態素モデルを最先端の多視点拡散手法に統合することで実現した。 提案するフレームワークは, 完全3次元一貫性, アニマタブル, フォトリアリスティックな人間のアバターの作成を可能にする最初の拡散モデルである。
  論文  参考訳（メタデータ） (2024-01-09T18:59:04Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field [81.07651217942679]
  トーキングヘッド生成は、ソース画像の識別情報を保持し、駆動画像の動作を模倣する顔を生成することを目的としている。 我々は高忠実かつ自由視点の対話ヘッド合成を実現するHiDe-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-11T09:47:35Z)
• NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real Image Animation [66.0838349951456]
  Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。 本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T18:36:45Z)
• Drivable Volumetric Avatars using Texel-Aligned Features [52.89305658071045]
  光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。 本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-20T09:28:16Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。