論文の概要: GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single
Video via Animatable 3D Gaussians
- arxiv url: http://arxiv.org/abs/2312.02134v1
- Date: Mon, 4 Dec 2023 18:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 14:07:20.933974
- Title: GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single
Video via Animatable 3D Gaussians
- Title(参考訳): Gaussian Avatar: Animatable 3D Gaussianによる単一ビデオからのリアルなヒューマンアバターモデリングを目指して
- Authors: Liangxiao Hu, Hongwen Zhang, Yuxiang Zhang, Boyao Zhou, Boning Liu,
Shengping Zhang, Liqiang Nie
- Abstract要約: 一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。
GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
- 参考スコア(独自算出の注目度): 54.04227342828977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present GaussianAvatar, an efficient approach to creating realistic human
avatars with dynamic 3D appearances from a single video. We start by
introducing animatable 3D Gaussians to explicitly represent humans in various
poses and clothing styles. Such an explicit and animatable representation can
fuse 3D appearances more efficiently and consistently from 2D observations. Our
representation is further augmented with dynamic properties to support
pose-dependent appearance modeling, where a dynamic appearance network along
with an optimizable feature tensor is designed to learn the
motion-to-appearance mapping. Moreover, by leveraging the differentiable motion
condition, our method enables a joint optimization of motions and appearances
during avatar modeling, which helps to tackle the long-standing issue of
inaccurate motion estimation in monocular settings. The efficacy of
GaussianAvatar is validated on both the public dataset and our collected
dataset, demonstrating its superior performances in terms of appearance quality
and rendering efficiency.
- Abstract(参考訳): ビデオから動的に3dのアバターを作るための効率的なアプローチであるgaussianavatarを提案する。
まずアニマタブルな3Dガウシアンを導入し、さまざまなポーズや服装スタイルで人間を明示的に表現する。
このような明示的でアニマタブルな表現は、より効率的で一貫して2次元観測から3Dの外観を融合させることができる。
私たちの表現は、ポーズ依存の外観モデリングをサポートするために、さらに動的特性が強化され、動的外観ネットワークと最適化可能な特徴テンソルが、動きから出現へのマッピングを学習するように設計されています。
さらに, 微分可能な動作条件を利用することで, アバターモデリング時の動作と外観の同時最適化が可能となり, 単眼環境における不正確な動き推定の長期的課題に対処できる。
GaussianAvatarの有効性は、公開データセットと収集データセットの両方で検証され、外観品質とレンダリング効率の点で優れた性能を示している。
関連論文リスト
- SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded
Gaussian Splatting [26.849406891462557]
トライアングルメッシュ上に埋め込まれたガウススプラッティングと人間のアバターのハイブリッド3次元表現であるSplattingAvatarについて述べる。
SplattingAvatarは、最新のGPUで300FPS以上、モバイルデバイスで30FPS以上をレンダリングする。
論文 参考訳(メタデータ) (2024-03-08T06:28:09Z) - Dynamic Appearance Modeling of Clothed 3D Human Avatars using a Single
Camera [8.308263758475938]
本研究では,動的な動きを持つ人の映像を用いて,布を被った3次元アバターの高品質なモデリング手法を提案する。
明示的なモデリングのために、ニューラルネットワークは、3Dボディモデルのポイントワイドな形状残差と外観特徴を生成することを学習する。
暗黙のモデリングのために、暗黙のネットワークは、外観と3Dモーション特徴を組み合わせて、高忠実な3Dアバターをデコードする。
論文 参考訳(メタデータ) (2023-12-28T06:04:39Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳(メタデータ) (2023-12-22T20:56:46Z) - Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and
Editing [53.05069432989608]
本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。
本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
論文 参考訳(メタデータ) (2023-12-05T19:05:58Z) - Physically Plausible Animation of Human Upper Body from a Single Image [41.027391105867345]
制御可能で動的に応答し,フォトリアリスティックな人間のアニメーションを生成する新しい方法を提案する。
本システムでは,画像空間におけるインタラクションを用いて,物理的に可視な上半身アニメーション(PUBA)を生成することができる。
論文 参考訳(メタデータ) (2022-12-09T09:36:59Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳(メタデータ) (2021-11-30T04:10:57Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳(メタデータ) (2021-05-04T23:28:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。