論文の概要: HeadGaS: Real-Time Animatable Head Avatars via 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2312.02902v1
- Date: Tue, 5 Dec 2023 17:19:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 14:56:19.009094
- Title: HeadGaS: Real-Time Animatable Head Avatars via 3D Gaussian Splatting
- Title（参考訳）: headgas: 3d gaussian splattingによるリアルタイムアニメーション可能な頭部アバター
- Authors: Helisa Dhamo, Yinyu Nie, Arthur Moreau, Jifei Song, Richard Shaw,
Yiren Zhou, Eduardo P\'erez-Pellitero
- Abstract要約: 本稿では,3次元頭部再構成とアニメーションに3次元ガウスプレート(3DGS)を用いた最初のモデルであるHeadGaSを提案する。
我々は,HeadGaSが,ベースラインを最大2dBまで越えた,リアルタイム推論フレームレートの最先端結果を提供することを示した。
- 参考スコア（独自算出の注目度）: 9.98045783250373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D head animation has seen major quality and runtime improvements over the
last few years, particularly empowered by the advances in differentiable
rendering and neural radiance fields. Real-time rendering is a highly desirable
goal for real-world applications. We propose HeadGaS, the first model to use 3D
Gaussian Splats (3DGS) for 3D head reconstruction and animation. In this paper
we introduce a hybrid model that extends the explicit representation from 3DGS
with a base of learnable latent features, which can be linearly blended with
low-dimensional parameters from parametric head models to obtain
expression-dependent final color and opacity values. We demonstrate that
HeadGaS delivers state-of-the-art results in real-time inference frame rates,
which surpasses baselines by up to ~2dB, while accelerating rendering speed by
over x10.
- Abstract（参考訳）: 3Dヘッドアニメーションは、ここ数年で大きな品質改善とランタイム改善を経験しており、特に差別化可能なレンダリングとニューラルラディアンスフィールドの進歩によって強化されている。
リアルタイムレンダリングは、現実世界のアプリケーションにとって非常に望ましい目標です。
本稿では,3次元頭部再構成とアニメーションに3次元ガウスプレート(3DGS)を用いた最初のモデルであるHeadGaSを提案する。
本稿では,パラメトリックヘッドモデルから低次元パラメータを線形にブレンドし,表現依存の最終色と不透明度値を得ることのできる3dgsからの明示表現を学習可能な潜時特徴のベースに拡張するハイブリッドモデルを提案する。
我々は,HeadGaSがリアルタイムのフレームレートを実現し,ベースラインを最大2dB超し,レンダリング速度をx10倍に向上させることを示した。
関連論文リスト
- 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。
3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。
本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
論文 参考訳（メタデータ） (2024-11-22T14:31:39Z) - Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。
パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。
最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
論文 参考訳（メタデータ） (2024-09-23T00:11:30Z) - iHuman: Instant Animatable Digital Humans From Monocular Videos [16.98924995658091]
モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。
この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。
我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
論文 参考訳（メタデータ） (2024-07-15T18:51:51Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - 3D-HGS: 3D Half-Gaussian Splatting [5.766096863155448]
光リアルな3D再構成は、3Dコンピュータビジョンの基本的な問題である。
本稿では,プラグアンドプレイカーネルとして使用できる3Dハーフガウス(3D-HGS)カーネルを提案する。
論文 参考訳（メタデータ） (2024-06-04T19:04:29Z) - Gaussian Splatting Decoder for 3D-aware Generative Adversarial Networks [10.207899254360374]
NeRFをベースとしたGAN(Generative Adversarial Networks)は非常に高いレンダリング品質を示す。
Neural Radiance Fieldsによるレンダリングは、3Dアプリケーションに課題をもたらす。
我々は、NeRFベースの3D対応GANの高レンダリング品質と3DGSの柔軟性と計算上の利点を組み合わせた新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-16T14:48:40Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and
Editing [53.05069432989608]
本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。
本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
論文 参考訳（メタデータ） (2023-12-05T19:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。