論文の概要: GaussianHead: Impressive 3D Gaussian-based Head Avatars with Dynamic
Hybrid Neural Field
- arxiv url: http://arxiv.org/abs/2312.01632v1
- Date: Mon, 4 Dec 2023 05:24:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 16:24:53.723979
- Title: GaussianHead: Impressive 3D Gaussian-based Head Avatars with Dynamic
Hybrid Neural Field
- Title(参考訳): gaussianhead - 動的ハイブリッドニューラルネットワークを用いた3dガウス型頭部アバター
- Authors: Jie Wang, Xianyan Li, Jiucheng Xie, Feng Xu, Hao Gao
- Abstract要約: 異方性3次元ガウスプリミティブに基づく新しい頭部アバターアルゴリズムを提案する。
最先端技術と比較して, 自己再構成, 斬新な視点, 異性間再現といったタスクにおいて, 最適な視覚的結果が得られる。
- 参考スコア(独自算出の注目度): 10.511448378546635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous head avatar methods have mostly relied on fixed explicit primitives
(mesh, point) or implicit surfaces (Sign Distance Function) and volumetric
neural radiance field, it challenging to strike a balance among high fidelity,
training speed, and resource consumption. The recent popularity of hybrid field
has brought novel representation, but is limited by relying on parameterization
factors obtained through fixed mappings. We propose GaussianHead: an head
avatar algorithm based on anisotropic 3D gaussian primitives. We leverage
canonical gaussians to represent dynamic scenes. Using explicit "dynamic"
tri-plane as an efficient container for parameterized head geometry, aligned
well with factors in the underlying geometry and tri-plane, we obtain aligned
canonical factors for the canonical gaussians. With a tiny MLP, factors are
decoded into opacity and spherical harmonic coefficients of 3D gaussian
primitives. Finally, we use efficient differentiable gaussian rasterizer for
rendering. Our approach benefits significantly from our novel representation
based on 3D gaussians, and the proper alignment transformation of underlying
geometry structures and factors in tri-plane eliminates biases introduced by
fixed mappings. Compared to state-of-the-art techniques, we achieve optimal
visual results in tasks such as self-reconstruction, novel view synthesis, and
cross-identity reenactment while maintaining high rendering efficiency (0.12s
per frame). Even the pores around the nose are clearly visible in some cases.
Code and additional video can be found on the project homepage.
- Abstract(参考訳): 従来の頭部アバター法は、固定された明示的プリミティブ (mesh, point) や暗示曲面 (Sign Distance Function) や体積神経放射場 ( volumetric neural radiance field) に大きく依存しており、高い忠実性、訓練速度、資源消費のバランスをとることは困難である。
近年のハイブリッドフィールドの人気は、新しい表現をもたらしたが、固定写像によって得られるパラメータ化因子に依存して制限されている。
我々は,異方性3次元ガウスプリミティブに基づく頭部アバターアルゴリズムgaussianheadを提案する。
我々は動的シーンを表現するのに標準ガウシアンを利用する。
パラメータ化された頭部形状の効率的な容器として明示的な「動的」三平面を用い, 基本形状および三平面の因子とよく一致し, 標準ガウスの正準因子を求める。
MLPでは、因子は3次元ガウス原始体の不透明度と球面調和係数にデコードされる。
最後に,効率的な微分可能なガウスラスタライザを用いてレンダリングを行う。
提案手法は, 3次元ガウス分布に基づく新しい表現から大きく恩恵を受け, 3次元平面の基底構造と因子の適切なアライメント変換により, 固定写像によるバイアスを排除した。
最先端技術と比較して,高いレンダリング効率(フレームあたり0.12s)を維持しつつ,自己再構築,新規ビュー合成,クロスidentity再現などのタスクにおいて最適な視覚結果が得られる。
鼻の周りの毛穴さえもはっきりと見える場合もある。
コードと追加ビデオはプロジェクトのホームページで見ることができる。
関連論文リスト
- Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質でコンパクトな表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳(メタデータ) (2024-04-16T17:57:19Z) - GVGEN: Text-to-3D Generation with Volumetric Representation [89.55687129165256]
3Dガウススプラッティングは、高速で高品質なレンダリング機能で知られる3D再構成と生成のための強力な技術として登場した。
本稿では,テキスト入力から3次元ガウス表現を効率的に生成する新しい拡散型フレームワークGVGENを提案する。
論文 参考訳(メタデータ) (2024-03-19T17:57:52Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳(メタデータ) (2024-02-07T12:36:54Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳(メタデータ) (2023-12-18T18:59:12Z) - MonoGaussianAvatar: Monocular Gaussian Point-based Head Avatar [44.125711148560605]
モノガウスアバター(MonoGaussian Avatar)は、3次元ガウス点表現とガウス変形場を利用する新しいアプローチである。
実験により, 従来手法の最先端化を図り, 提案手法の優れた性能を実証した。
論文 参考訳(メタデータ) (2023-12-07T18:59:31Z) - Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and
Editing [53.05069432989608]
本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。
本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
論文 参考訳(メタデータ) (2023-12-05T19:05:58Z) - Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians [41.86540576028268]
軽量なスパースビュー設定のための制御可能な3次元ガウスヘッドアバターを提案する。
提案手法は,超過大表現下でも2K解像度での超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-05T11:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。