論文の概要: Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360°

• arxiv url: http://arxiv.org/abs/2408.00296v1
• Date: Thu, 1 Aug 2024 05:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 21:35:40.879666
• Title: Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360°
• Title（参考訳）: Head360:360度自由視点合成のためのパラメトリック3次元フルヘッド学習
• Authors: Yuxiao He, Yiyu Zhuang, Yanwen Wang, Yao Yao, Siyu Zhu, Xiaoyu Li, Qi Zhang, Xun Cao, Hao Zhu,
• Abstract要約: アーティストが設計した高忠実度頭部のデータセットを構築し,それを用いた新しいパラメトリック頭部モデルを提案する。 本手法は,従来のパラメトリック3Dメッシュモデルと付加された神経テクスチャで表される顔の動き・形状・顔の外観を分離する。 実験により、パラメトリック空間では顔の動きや外観がうまく絡み合っていることが示され、SOTAのレンダリングとアニメーション品質が向上した。
• 参考スコア（独自算出の注目度）: 25.86740659962933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating a 360{\deg} parametric model of a human head is a very challenging task. While recent advancements have demonstrated the efficacy of leveraging synthetic data for building such parametric head models, their performance remains inadequate in crucial areas such as expression-driven animation, hairstyle editing, and text-based modifications. In this paper, we build a dataset of artist-designed high-fidelity human heads and propose to create a novel parametric 360{\deg} renderable parametric head model from it. Our scheme decouples the facial motion/shape and facial appearance, which are represented by a classic parametric 3D mesh model and an attached neural texture, respectively. We further propose a training method for decompositing hairstyle and facial appearance, allowing free-swapping of the hairstyle. A novel inversion fitting method is presented based on single image input with high generalization and fidelity. To the best of our knowledge, our model is the first parametric 3D full-head that achieves 360{\deg} free-view synthesis, image-based fitting, appearance editing, and animation within a single model. Experiments show that facial motions and appearances are well disentangled in the parametric space, leading to SOTA performance in rendering and animating quality. The code and SynHead100 dataset are released at https://nju-3dv.github.io/projects/Head360.
• Abstract（参考訳）: 人間の頭部の360{\deg}パラメトリックモデルを作成するのは、非常に難しい作業です。 最近の進歩は、このようなパラメトリックヘッドモデルの構築に合成データを活用する効果を実証しているが、表現駆動アニメーション、ヘアスタイル編集、テキストベースの修正といった重要な領域では、その性能は依然として不十分である。 本稿では,アーティストが設計した高忠実度頭部のデータセットを構築し,新しいパラメトリック360{\degのレンダリング可能なパラメトリックヘッドモデルを提案する。 本手法は,従来のパラメトリック3次元メッシュモデルと付着した神経テクスチャで表される顔の動き・形状と顔の外観を分離する。 また,髪型と顔の外観を分解し,髪型の自由なスワッピングを可能にする訓練法を提案する。 一般化と忠実度の高い単一画像入力に基づく新しいインバージョンフィッティング法を提案する。 我々の知る限り、我々のモデルは、360{\deg}自由ビュー合成、画像ベースのフィッティング、外観編集、アニメーションを単一のモデルで実現した最初のパラメトリック3Dフルヘッドである。 実験により、パラメトリック空間では顔の動きや外観がうまく絡み合っていることが示され、SOTAのレンダリングとアニメーション品質が向上した。 コードとSynHead100データセットはhttps://nju-3dv.github.io/projects/Head360でリリースされる。

関連論文リスト

• Synthetic Prior for Few-Shot Drivable Head Avatar Inversion [61.51887011274453]
  そこで本研究では,合成前駆体に基づく乾燥可能な頭部アバターの少数ショット逆転法であるSynShotを提案する。 合成データのみに基づいて訓練された機械学習モデルに着想を得て,合成頭部の大きなデータセットから先行モデルを学習する手法を提案する。 我々は3次元ガウススプラッティングとUVテクスチャ空間におけるガウスパラメータを出力する畳み込みエンコーダデコーダを用いて頭部アバターをモデル化する。
  論文  参考訳（メタデータ） (2025-01-12T19:01:05Z)
• FaceLift: Single Image to 3D Head with View Generation and GS-LRM [54.24070918942727]
  FaceLiftは、1枚の画像から高速で高品質な360度頭部再構築のためのフィードフォワード方式である。 FaceLiftは3次元頭部再構成において最先端の手法よりも優れており、実世界の画像に対する実用性とロバストな性能を強調している。
  論文  参考訳（メタデータ） (2024-12-23T18:59:49Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• MeGA: Hybrid Mesh-Gaussian Head Avatar for High-Fidelity Rendering and Head Editing [34.31657241047574]
  より適切な表現で異なるヘッドコンポーネントをモデル化するハイブリッドメッシュ・ガウスヘッドアバター(MeGA)を提案する。 MeGAは、ヘッド全体の高忠実度レンダリングを生成し、自然に下流タスクをサポートする。 NeRSembleデータセットの実験は、我々の設計の有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-29T18:10:12Z)
• HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs [9.239372828746152]
  人間の頭部モデリングの最近の進歩は、神経表現による可塑性3次元頭部モデルの生成を可能にする。 本稿では,3DMM上での詳細な3次元頭部メッシュの生成モデルを提案する。 変位のUVマップを一般化するためにStyleGANモデルを訓練し、それを後にHeadCraftと呼ぶ。
  論文  参考訳（メタデータ） (2023-12-21T18:57:52Z)
• HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation [95.58892028614444]
  本研究は,テキスト記述から3次元ヘッド生成のためのHeadArtistを提案する。 従来の蒸留の監督の下でパラメータ化された3次元ヘッドモデルを最適化する効率的なパイプラインを考案した。 実験結果から,本手法は適切な形状とフォトリアリスティックな外観を持つ高品質な3次元頭部彫刻を実現することが示唆された。
  論文  参考訳（メタデータ） (2023-12-12T18:59:25Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。