論文の概要: Deformable 3D Gaussian Splatting for Animatable Human Avatars

• arxiv url: http://arxiv.org/abs/2312.15059v1
• Date: Fri, 22 Dec 2023 20:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 19:58:53.265659
• Title: Deformable 3D Gaussian Splatting for Animatable Human Avatars
• Title（参考訳）: アニマタブルヒトアバターのための変形可能な3次元ガウススプラッティング
• Authors: HyunJun Jung, Nikolas Brasch, Jifei Song, Eduardo Perez-Pellitero, Yiren Zhou, Zhihao Li, Nassir Navab, Benjamin Busam
• Abstract要約: 本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
• 参考スコア（独自算出の注目度）: 50.61374254699761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in neural radiance fields enable novel view synthesis of photo-realistic images in dynamic settings, which can be applied to scenarios with human animation. Commonly used implicit backbones to establish accurate models, however, require many input views and additional annotations such as human masks, UV maps and depth maps. In this work, we propose ParDy-Human (Parameterized Dynamic Human Avatar), a fully explicit approach to construct a digital avatar from as little as a single monocular sequence. ParDy-Human introduces parameter-driven dynamics into 3D Gaussian Splatting where 3D Gaussians are deformed by a human pose model to animate the avatar. Our method is composed of two parts: A first module that deforms canonical 3D Gaussians according to SMPL vertices and a consecutive module that further takes their designed joint encodings and predicts per Gaussian deformations to deal with dynamics beyond SMPL vertex deformations. Images are then synthesized by a rasterizer. ParDy-Human constitutes an explicit model for realistic dynamic human avatars which requires significantly fewer training views and images. Our avatars learning is free of additional annotations such as masks and can be trained with variable backgrounds while inferring full-resolution images efficiently even on consumer hardware. We provide experimental evidence to show that ParDy-Human outperforms state-of-the-art methods on ZJU-MoCap and THUman4.0 datasets both quantitatively and visually.
• Abstract（参考訳）: 近年のニューラルラディアンス分野の進歩は、人間のアニメーションのシナリオに適用可能な、動的設定におけるフォトリアリスティック画像の新しいビュー合成を可能にする。 しかし、正確なモデルを確立するために暗黙のバックボーンは、多くの入力ビューと人間のマスク、uvマップ、深度マップなどの追加アノテーションを必要とする。 本研究では,1つの単細胞配列からデジタルアバターを構築するための完全明示的なアプローチであるpardy-human (parameterized dynamic human avatar)を提案する。 pardy-human は 3d gaussian splatting にパラメータ駆動ダイナミクスを導入し、3d gaussian は人間のポーズモデルによって変形してアバターをアニメーション化する。 本手法は, 正準3次元ガウス多様体をsmpl頂点に従って変形する第1モジュールと, 設計したジョイント符号化を更に取り入れてガウス変形ごとに予測し, smpl頂点変形を超えるダイナミクスを扱う連続モジュールの2つの部分からなる。 画像はラスタライザーによって合成される。 pardy-humanは、リアルな動的人間のアバターのための明示的なモデルを構成する。 当社のアバター学習にはマスクなどの追加アノテーションが不要で,ユーザのハードウェア上でも,フル解像度の画像の推測を効率的に行うことができる。 本稿では,ZJU-MoCap と THUman4.0 データセットにおいて,ParDy-Human が最先端の手法よりも定量的かつ視覚的に優れていることを示す実験的証拠を提供する。

関連論文リスト

• GST: Precise 3D Human Body from a Single Image with Gaussian Splatting Transformers [23.96688843662126]
  我々は,ガウスの混合体からなるシーン表現である3Dガウススプレイティング(3DGS)をベースとした。 この組み合わせは、テスト時間最適化なしで単一の画像から3次元人間のモデルを高速に推定できることを示す。 また,衣服などのバリエーションを考慮に入れた人体モデルにより,3次元ポーズ推定の改善が期待できることを示す。
  論文  参考訳（メタデータ） (2024-09-06T11:34:24Z)
• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• Expressive Gaussian Human Avatars from Monocular RGB Video [69.56388194249942]
  EVAは3DガウスとSMPL-Xに基づいて細部を巧みに彫刻する乾燥可能な人間モデルである。 SMPL-XモデルをRGBフレームに整合させることが,効果的なアバター学習において重要であることを強調した。 本稿では,勾配閾値を適応的に調整する適応密度制御戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-03T15:36:27Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians [41.378083782290545]
  本稿では,表現,ポーズ,視点の面で完全に制御可能な光現実的頭部アバターを作成するための新しい手法を提案する。 中心となる考え方は、3次元ガウスのスプレートをパラメトリックな形態素面モデルに組み込んだ動的3次元表現である。 我々は、いくつかの挑戦的なシナリオにおいて、フォトリアリスティックアバターのアニメーション能力を実演する。
  論文  参考訳（メタデータ） (2023-12-04T17:28:35Z)
• Animatable and Relightable Gaussians for High-fidelity Human Avatar Modeling [47.1427140235414]
  強力な2次元CNNと3次元ガウススプラッティングを活用して高忠実度アバターを作成する新しいアバター表現を提案する。 我々の手法は、動的で現実的で、一般化され、楽しく見えるアバターを作ることができる。
  論文  参考訳（メタデータ） (2023-11-27T18:59:04Z)
• AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
  論文  参考訳（メタデータ） (2022-11-26T15:15:45Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。