論文の概要: Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360°

• arxiv url: http://arxiv.org/abs/2408.00296v1
• Date: Thu, 1 Aug 2024 05:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 21:35:40.879666
• Title: Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360°
• Title（参考訳）: Head360:360度自由視点合成のためのパラメトリック3次元フルヘッド学習
• Authors: Yuxiao He, Yiyu Zhuang, Yanwen Wang, Yao Yao, Siyu Zhu, Xiaoyu Li, Qi Zhang, Xun Cao, Hao Zhu,
• Abstract要約: アーティストが設計した高忠実度頭部のデータセットを構築し,それを用いた新しいパラメトリック頭部モデルを提案する。 本手法は,従来のパラメトリック3Dメッシュモデルと付加された神経テクスチャで表される顔の動き・形状・顔の外観を分離する。 実験により、パラメトリック空間では顔の動きや外観がうまく絡み合っていることが示され、SOTAのレンダリングとアニメーション品質が向上した。
• 参考スコア（独自算出の注目度）: 25.86740659962933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating a 360{\deg} parametric model of a human head is a very challenging task. While recent advancements have demonstrated the efficacy of leveraging synthetic data for building such parametric head models, their performance remains inadequate in crucial areas such as expression-driven animation, hairstyle editing, and text-based modifications. In this paper, we build a dataset of artist-designed high-fidelity human heads and propose to create a novel parametric 360{\deg} renderable parametric head model from it. Our scheme decouples the facial motion/shape and facial appearance, which are represented by a classic parametric 3D mesh model and an attached neural texture, respectively. We further propose a training method for decompositing hairstyle and facial appearance, allowing free-swapping of the hairstyle. A novel inversion fitting method is presented based on single image input with high generalization and fidelity. To the best of our knowledge, our model is the first parametric 3D full-head that achieves 360{\deg} free-view synthesis, image-based fitting, appearance editing, and animation within a single model. Experiments show that facial motions and appearances are well disentangled in the parametric space, leading to SOTA performance in rendering and animating quality. The code and SynHead100 dataset are released at https://nju-3dv.github.io/projects/Head360.
• Abstract（参考訳）: 人間の頭部の360{\deg}パラメトリックモデルを作成するのは、非常に難しい作業です。 最近の進歩は、このようなパラメトリックヘッドモデルの構築に合成データを活用する効果を実証しているが、表現駆動アニメーション、ヘアスタイル編集、テキストベースの修正といった重要な領域では、その性能は依然として不十分である。 本稿では,アーティストが設計した高忠実度頭部のデータセットを構築し,新しいパラメトリック360{\degのレンダリング可能なパラメトリックヘッドモデルを提案する。 本手法は,従来のパラメトリック3次元メッシュモデルと付着した神経テクスチャで表される顔の動き・形状と顔の外観を分離する。 また,髪型と顔の外観を分解し,髪型の自由なスワッピングを可能にする訓練法を提案する。 一般化と忠実度の高い単一画像入力に基づく新しいインバージョンフィッティング法を提案する。 我々の知る限り、我々のモデルは、360{\deg}自由ビュー合成、画像ベースのフィッティング、外観編集、アニメーションを単一のモデルで実現した最初のパラメトリック3Dフルヘッドである。 実験により、パラメトリック空間では顔の動きや外観がうまく絡み合っていることが示され、SOTAのレンダリングとアニメーション品質が向上した。 コードとSynHead100データセットはhttps://nju-3dv.github.io/projects/Head360でリリースされる。

関連論文リスト

• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• MeGA: Hybrid Mesh-Gaussian Head Avatar for High-Fidelity Rendering and Head Editing [34.31657241047574]
  より適切な表現で異なるヘッドコンポーネントをモデル化するハイブリッドメッシュ・ガウスヘッドアバター(MeGA)を提案する。 MeGAは、ヘッド全体の高忠実度レンダリングを生成し、自然に下流タスクをサポートする。 NeRSembleデータセットの実験は、我々の設計の有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-29T18:10:12Z)
• HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs [9.790185628415301]
  本稿では,3DMM上での詳細な3次元頭部メッシュの生成モデルを提案する。 変位のUVマップを一般化するために,StyleGANモデルを訓練する。 非条件生成の結果を実測および部分観察に適合させる。
  論文  参考訳（メタデータ） (2023-12-21T18:57:52Z)
• HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation [95.58892028614444]
  本研究は,テキスト記述から3次元ヘッド生成のためのHeadArtistを提案する。 従来の蒸留の監督の下でパラメータ化された3次元ヘッドモデルを最適化する効率的なパイプラインを考案した。 実験結果から,本手法は適切な形状とフォトリアリスティックな外観を持つ高品質な3次元頭部彫刻を実現することが示唆された。
  論文  参考訳（メタデータ） (2023-12-12T18:59:25Z)
• HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field [44.848368616444446]
  我々は,NeRFの表現性とパラメトリックテンプレートからの事前情報を統合する,新しいハイブリッド・明示的3次元表現,顔モデル条件付きニューラルラジアンス場を導入する。 画像から画像への変換ネットワークを用いた全体的なGANアーキテクチャを採用することにより,動的頭部外観の高分解能,現実的,かつ一貫した合成を実現する。
  論文  参考訳（メタデータ） (2023-09-29T10:45:22Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。