論文の概要: ASH: Animatable Gaussian Splats for Efficient and Photoreal Human
Rendering
- arxiv url: http://arxiv.org/abs/2312.05941v1
- Date: Sun, 10 Dec 2023 17:07:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 17:50:24.309434
- Title: ASH: Animatable Gaussian Splats for Efficient and Photoreal Human
Rendering
- Title(参考訳): ASH: 効率的でフォトリアルな人間レンダリングのためのアニマブルなガウススプラッター
- Authors: Haokai Pang, Heming Zhu, Adam Kortylewski, Christian Theobalt, Marc
Habermann
- Abstract要約: 本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
- 参考スコア(独自算出の注目度): 67.39272639454775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-time rendering of photorealistic and controllable human avatars stands
as a cornerstone in Computer Vision and Graphics. While recent advances in
neural implicit rendering have unlocked unprecedented photorealism for digital
avatars, real-time performance has mostly been demonstrated for static scenes
only. To address this, we propose ASH, an animatable Gaussian splatting
approach for photorealistic rendering of dynamic humans in real-time. We
parameterize the clothed human as animatable 3D Gaussians, which can be
efficiently splatted into image space to generate the final rendering. However,
naively learning the Gaussian parameters in 3D space poses a severe challenge
in terms of compute. Instead, we attach the Gaussians onto a deformable
character model, and learn their parameters in 2D texture space, which allows
leveraging efficient 2D convolutional architectures that easily scale with the
required number of Gaussians. We benchmark ASH with competing methods on
pose-controllable avatars, demonstrating that our method outperforms existing
real-time methods by a large margin and shows comparable or even better results
than offline methods.
- Abstract(参考訳): フォトリアリスティックで制御可能なアバターのリアルタイムレンダリングは、コンピュータビジョンとグラフィックスの基盤となっている。
ニューラル暗黙的レンダリングの最近の進歩は、デジタルアバターに対する前例のないフォトリアリズムを解き放つ一方で、リアルタイムのパフォーマンスは静的なシーンでのみ実証されている。
そこで本研究では,動的人間をリアルタイムに光実写レンダリングするためのアニマタブルなガウススプラッティング手法であるASHを提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
しかし、3d空間でガウスパラメータを自然に学習することは計算の面で厳しい課題となる。
代わりに、変形可能なキャラクタモデルにガウシアンをアタッチし、2次元テクスチャ空間でパラメータを学習することで、必要な数のガウシアンで容易にスケールできる効率的な2次元畳み込みアーキテクチャを活用できる。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等あるいはそれ以上の結果を示すことを示した。
関連論文リスト
- HAHA: Highly Articulated Gaussian Human Avatars with Textured Mesh Prior [24.094129395653134]
HAHAは単眼入力ビデオからヒトアバターをアニマタブルに生成するための新しいアプローチである。
SMPL-Xパラメトリックモデルを用いて全身のアバターをアニメーション化しレンダリングする効率を実証する。
論文 参考訳(メタデータ) (2024-04-01T11:23:38Z) - UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。
我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文 参考訳(メタデータ) (2024-03-18T09:03:56Z) - Deblurring 3D Gaussian Splatting [7.848221270875205]
MLP(Multi-Layer Perceptron)を用いた3次元ガウススプラッティングをデブロリングする新しいリアルタイムデブロアリングフレームワークを提案する。
3D Gassian Splattingはリアルタイムレンダリングも楽しめるが、ぼやけた画像から細かな細部や鋭い細部を再構築することができる。
論文 参考訳(メタデータ) (2024-01-01T18:23:51Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳(メタデータ) (2023-12-22T20:56:46Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳(メタデータ) (2023-12-18T18:59:12Z) - 3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting [32.63571465495127]
3Dガウススプラッティング(3DGS)を用いた単眼ビデオからアニマタブルな人間のアバターを作成する手法を提案する。
我々は、30分以内でトレーニングでき、リアルタイムフレームレート(50以上のFPS)でレンダリングできる非剛性ネットワークを学習する。
実験結果から,本手法は単分子入力によるアニマタブルアバター生成に対する最先端手法と比較して,同等,さらに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-14T18:54:32Z) - GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians [41.378083782290545]
本稿では,表現,ポーズ,視点の面で完全に制御可能な光現実的頭部アバターを作成するための新しい手法を提案する。
中心となる考え方は、3次元ガウスのスプレートをパラメトリックな形態素面モデルに組み込んだ動的3次元表現である。
我々は、いくつかの挑戦的なシナリオにおいて、フォトリアリスティックアバターのアニメーション能力を実演する。
論文 参考訳(メタデータ) (2023-12-04T17:28:35Z) - GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。
アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
論文 参考訳(メタデータ) (2023-10-04T10:30:24Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。