論文の概要: FlashAvatar: High-fidelity Head Avatar with Efficient Gaussian Embedding
- arxiv url: http://arxiv.org/abs/2312.02214v2
- Date: Fri, 29 Mar 2024 16:31:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 20:17:12.982802
- Title: FlashAvatar: High-fidelity Head Avatar with Efficient Gaussian Embedding
- Title(参考訳): FlashAvatar:効率的なガウスの埋め込み機能を備えた高忠実なヘッドアバター
- Authors: Jun Xiang, Xuan Gao, Yudong Guo, Juyong Zhang,
- Abstract要約: FlashAvatarは、新しくて軽量な3Dアニマタブルなアバター表現である。
短い単眼ビデオシーケンスから数分でデジタルアバターを再構築することができる。
コンシューマグレードのGPU上で300FPSで高忠実なフォトリアリスティック画像をレンダリングすることができる。
- 参考スコア(独自算出の注目度): 33.03011612052884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose FlashAvatar, a novel and lightweight 3D animatable avatar representation that could reconstruct a digital avatar from a short monocular video sequence in minutes and render high-fidelity photo-realistic images at 300FPS on a consumer-grade GPU. To achieve this, we maintain a uniform 3D Gaussian field embedded in the surface of a parametric face model and learn extra spatial offset to model non-surface regions and subtle facial details. While full use of geometric priors can capture high-frequency facial details and preserve exaggerated expressions, proper initialization can help reduce the number of Gaussians, thus enabling super-fast rendering speed. Extensive experimental results demonstrate that FlashAvatar outperforms existing works regarding visual quality and personalized details and is almost an order of magnitude faster in rendering speed. Project page: https://ustc3dv.github.io/FlashAvatar/
- Abstract(参考訳): 我々は,高速で軽量な3Dアニマタブルなアバター表現であるFlashAvatarを提案する。これは,短い単眼ビデオシーケンスから数分でデジタルアバターを再構築し,300FPSの高忠実なフォトリアリスティック画像をコンシューマグレードのGPU上でレンダリングする。
これを実現するために、パラメトリック顔モデルの表面に埋め込まれた均一な3次元ガウス場を維持し、非表面領域と微妙な顔の詳細をモデル化するための余分な空間オフセットを学習する。
幾何学的事前の完全な使用は、高周波の顔の詳細をキャプチャし、誇張された表現を保存できるが、適切な初期化はガウスの数を減らし、超高速なレンダリング速度を可能にする。
大規模な実験結果から、FlashAvatarは視覚的品質とパーソナライズされた詳細に関する既存の作品よりも優れており、レンダリング速度はおよそ1桁高速であることが示された。
プロジェクトページ: https://ustc3dv.github.io/FlashAvatar/
関連論文リスト
- PSAvatar: A Point-based Morphable Shape Model for Real-Time Head Avatar
Animation with 3D Gaussian Splatting [19.082059087989844]
PSAvatarは、アニマタブルヘッドアバター作成のための新しいフレームワークである。
詳細な表現と高忠実度レンダリングに3D Gaussian を使用している。
PSAvatarは多種多様な被験者の高忠実度頭部アバターを再構築でき、リアルタイムでアバターをアニメーションできることを示す。
論文 参考訳(メタデータ) (2024-01-23T16:40:47Z) - Deblurring 3D Gaussian Splatting [7.848221270875205]
MLP(Multi-Layer Perceptron)を用いた3次元ガウススプラッティングをデブロリングする新しいリアルタイムデブロアリングフレームワークを提案する。
3D Gassian Splattingはリアルタイムレンダリングも楽しめるが、ぼやけた画像から細かな細部や鋭い細部を再構築することができる。
論文 参考訳(メタデータ) (2024-01-01T18:23:51Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳(メタデータ) (2023-12-18T18:59:12Z) - 3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting [32.63571465495127]
3Dガウススプラッティング(3DGS)を用いた単眼ビデオからアニマタブルな人間のアバターを作成する手法を提案する。
我々は、30分以内でトレーニングでき、リアルタイムフレームレート(50以上のFPS)でレンダリングできる非剛性ネットワークを学習する。
実験結果から,本手法は単分子入力によるアニマタブルアバター生成に対する最先端手法と比較して,同等,さらに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-14T18:54:32Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳(メタデータ) (2023-12-10T17:07:37Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳(メタデータ) (2023-10-26T16:13:00Z) - Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。
最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。
アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文 参考訳(メタデータ) (2023-03-23T00:15:34Z) - FNeVR: Neural Volume Rendering for Face Animation [53.92664037596834]
本研究では,2次元モーションワープと3次元ボリュームレンダリングの可能性を探るため,FNeVRネットワークを提案する。
FNeVRでは、画像レンダリングのための顔の詳細を強化するために、FVRモジュールを設計する。
また、軽量なポーズエディタを設計し、FNeVRが簡単にかつ効果的に顔のポーズを編集できるようにする。
論文 参考訳(メタデータ) (2022-09-21T13:18:59Z) - HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。
まず,人体表面の高密度UV多様体上での人間の動きを符号化する。
次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
論文 参考訳(メタデータ) (2021-12-19T17:34:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。