論文の概要: GaussianHead: Impressive 3D Gaussian-based Head Avatars with Dynamic Hybrid Neural Field

• arxiv url: http://arxiv.org/abs/2312.01632v1
• Date: Mon, 4 Dec 2023 05:24:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 16:24:53.723979
• Title: GaussianHead: Impressive 3D Gaussian-based Head Avatars with Dynamic Hybrid Neural Field
• Title（参考訳）: gaussianhead - 動的ハイブリッドニューラルネットワークを用いた3dガウス型頭部アバター
• Authors: Jie Wang, Xianyan Li, Jiucheng Xie, Feng Xu, Hao Gao
• Abstract要約: 異方性3次元ガウスプリミティブに基づく新しい頭部アバターアルゴリズムを提案する。 最先端技術と比較して, 自己再構成, 斬新な視点, 異性間再現といったタスクにおいて, 最適な視覚的結果が得られる。
• 参考スコア（独自算出の注目度）: 10.511448378546635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous head avatar methods have mostly relied on fixed explicit primitives (mesh, point) or implicit surfaces (Sign Distance Function) and volumetric neural radiance field, it challenging to strike a balance among high fidelity, training speed, and resource consumption. The recent popularity of hybrid field has brought novel representation, but is limited by relying on parameterization factors obtained through fixed mappings. We propose GaussianHead: an head avatar algorithm based on anisotropic 3D gaussian primitives. We leverage canonical gaussians to represent dynamic scenes. Using explicit "dynamic" tri-plane as an efficient container for parameterized head geometry, aligned well with factors in the underlying geometry and tri-plane, we obtain aligned canonical factors for the canonical gaussians. With a tiny MLP, factors are decoded into opacity and spherical harmonic coefficients of 3D gaussian primitives. Finally, we use efficient differentiable gaussian rasterizer for rendering. Our approach benefits significantly from our novel representation based on 3D gaussians, and the proper alignment transformation of underlying geometry structures and factors in tri-plane eliminates biases introduced by fixed mappings. Compared to state-of-the-art techniques, we achieve optimal visual results in tasks such as self-reconstruction, novel view synthesis, and cross-identity reenactment while maintaining high rendering efficiency (0.12s per frame). Even the pores around the nose are clearly visible in some cases. Code and additional video can be found on the project homepage.
• Abstract（参考訳）: 従来の頭部アバター法は、固定された明示的プリミティブ (mesh, point) や暗示曲面 (Sign Distance Function) や体積神経放射場 ( volumetric neural radiance field) に大きく依存しており、高い忠実性、訓練速度、資源消費のバランスをとることは困難である。 近年のハイブリッドフィールドの人気は、新しい表現をもたらしたが、固定写像によって得られるパラメータ化因子に依存して制限されている。 我々は,異方性3次元ガウスプリミティブに基づく頭部アバターアルゴリズムgaussianheadを提案する。 我々は動的シーンを表現するのに標準ガウシアンを利用する。 パラメータ化された頭部形状の効率的な容器として明示的な「動的」三平面を用い, 基本形状および三平面の因子とよく一致し, 標準ガウスの正準因子を求める。 MLPでは、因子は3次元ガウス原始体の不透明度と球面調和係数にデコードされる。 最後に,効率的な微分可能なガウスラスタライザを用いてレンダリングを行う。 提案手法は, 3次元ガウス分布に基づく新しい表現から大きく恩恵を受け, 3次元平面の基底構造と因子の適切なアライメント変換により, 固定写像によるバイアスを排除した。 最先端技術と比較して,高いレンダリング効率(フレームあたり0.12s)を維持しつつ,自己再構築,新規ビュー合成,クロスidentity再現などのタスクにおいて最適な視覚結果が得られる。 鼻の周りの毛穴さえもはっきりと見える場合もある。 コードと追加ビデオはプロジェクトのホームページで見ることができる。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
  3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。 その可能性にもかかわらず、3DGSは針のようなアーティファクト、準最適ジオメトリー、不正確な正常など、課題に直面している。 正規化として有効なランクを導入し、ガウスの構造を制約する。
  論文  参考訳（メタデータ） (2024-06-17T15:51:59Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
  本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。 提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-01T18:14:42Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• HHAvatar: Gaussian Head Avatar with Dynamic Hairs [27.20228210350169]
  動的ヘアモデリングを用いた高忠実度頭部アバターの3次元ガウスアン制御が可能なアバターを提案する。 提案手法は,2K解像度で超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れている。
  論文  参考訳（メタデータ） (2023-12-05T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。