論文の概要: Deformable 3D Gaussian Splatting for Animatable Human Avatars
- arxiv url: http://arxiv.org/abs/2312.15059v1
- Date: Fri, 22 Dec 2023 20:56:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 19:58:53.265659
- Title: Deformable 3D Gaussian Splatting for Animatable Human Avatars
- Title(参考訳): アニマタブルヒトアバターのための変形可能な3次元ガウススプラッティング
- Authors: HyunJun Jung, Nikolas Brasch, Jifei Song, Eduardo Perez-Pellitero,
Yiren Zhou, Zhihao Li, Nassir Navab, Benjamin Busam
- Abstract要約: 本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
- 参考スコア(独自算出の注目度): 50.61374254699761
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in neural radiance fields enable novel view synthesis of
photo-realistic images in dynamic settings, which can be applied to scenarios
with human animation. Commonly used implicit backbones to establish accurate
models, however, require many input views and additional annotations such as
human masks, UV maps and depth maps. In this work, we propose ParDy-Human
(Parameterized Dynamic Human Avatar), a fully explicit approach to construct a
digital avatar from as little as a single monocular sequence. ParDy-Human
introduces parameter-driven dynamics into 3D Gaussian Splatting where 3D
Gaussians are deformed by a human pose model to animate the avatar. Our method
is composed of two parts: A first module that deforms canonical 3D Gaussians
according to SMPL vertices and a consecutive module that further takes their
designed joint encodings and predicts per Gaussian deformations to deal with
dynamics beyond SMPL vertex deformations. Images are then synthesized by a
rasterizer. ParDy-Human constitutes an explicit model for realistic dynamic
human avatars which requires significantly fewer training views and images. Our
avatars learning is free of additional annotations such as masks and can be
trained with variable backgrounds while inferring full-resolution images
efficiently even on consumer hardware. We provide experimental evidence to show
that ParDy-Human outperforms state-of-the-art methods on ZJU-MoCap and
THUman4.0 datasets both quantitatively and visually.
- Abstract(参考訳): 近年のニューラルラディアンス分野の進歩は、人間のアニメーションのシナリオに適用可能な、動的設定におけるフォトリアリスティック画像の新しいビュー合成を可能にする。
しかし、正確なモデルを確立するために暗黙のバックボーンは、多くの入力ビューと人間のマスク、uvマップ、深度マップなどの追加アノテーションを必要とする。
本研究では,1つの単細胞配列からデジタルアバターを構築するための完全明示的なアプローチであるpardy-human (parameterized dynamic human avatar)を提案する。
pardy-human は 3d gaussian splatting にパラメータ駆動ダイナミクスを導入し、3d gaussian は人間のポーズモデルによって変形してアバターをアニメーション化する。
本手法は, 正準3次元ガウス多様体をsmpl頂点に従って変形する第1モジュールと, 設計したジョイント符号化を更に取り入れてガウス変形ごとに予測し, smpl頂点変形を超えるダイナミクスを扱う連続モジュールの2つの部分からなる。
画像はラスタライザーによって合成される。
pardy-humanは、リアルな動的人間のアバターのための明示的なモデルを構成する。
当社のアバター学習にはマスクなどの追加アノテーションが不要で,ユーザのハードウェア上でも,フル解像度の画像の推測を効率的に行うことができる。
本稿では,ZJU-MoCap と THUman4.0 データセットにおいて,ParDy-Human が最先端の手法よりも定量的かつ視覚的に優れていることを示す実験的証拠を提供する。
関連論文リスト
- GEA: Reconstructing Expressive 3D Gaussian Avatar from Monocular Video [58.529031282445665]
GEAは3Dガウスに基づく高忠実度体と手を再現した表現力のある3Dアバターを作成する新しい方法である。
人体とポーズのきめ細かい制御を提供しながら、フォトリアリスティックなビュー合成における最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-02-26T14:40:15Z) - GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single
Video via Animatable 3D Gaussians [54.04227342828977]
一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。
GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
論文 参考訳(メタデータ) (2023-12-04T18:55:45Z) - GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians [3.802328941724003]
本稿では,表現,ポーズ,視点の面で完全に制御可能な光現実的頭部アバターを作成するための新しい手法を提案する。
中心となる考え方は、3次元ガウスのスプレートをパラメトリックな形態素面モデルに組み込んだ動的3次元表現である。
我々は、いくつかの挑戦的なシナリオにおいて、フォトリアリスティックアバターのアニメーション能力を実演する。
論文 参考訳(メタデータ) (2023-12-04T17:28:35Z) - Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [6.629151211202684]
この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。
3次元ガウススプラッティングに基づく最初のアニマタブルな人体モデルを提案する。
本手法は, THuman4データセットの最先端技術よりもPSNR 1.5dbBが優れていることを示す。
論文 参考訳(メタデータ) (2023-11-28T12:05:41Z) - Animatable Gaussians: Learning Pose-dependent Gaussian Maps for
High-fidelity Human Avatar Modeling [48.693234673982445]
強力な2次元CNNと3次元ガウススプラッティングを利用して高忠実度アバターを作成するアバター表現を導入する。
学習されたテンプレートは、ドレスのようなよりゆるい服をモデル化するための衣服に適応する。
我々の手法は、動的で現実的で一般化された外観を持つ生物のようなアバターを作ることができる。
論文 参考訳(メタデータ) (2023-11-27T18:59:04Z) - AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。
提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。
シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
論文 参考訳(メタデータ) (2022-11-26T15:15:45Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。