論文の概要: NPGA: Neural Parametric Gaussian Avatars

• arxiv url: http://arxiv.org/abs/2405.19331v1
• Date: Wed, 29 May 2024 17:58:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 15:52:40.426499
• Title: NPGA: Neural Parametric Gaussian Avatars
• Title（参考訳）: NPGA:ニューラルパラメトリックガウスアバター
• Authors: Simon Giebenhain, Tobias Kirschstein, Martin Rünz, Lourdes Agapito, Matthias Nießner,
• Abstract要約: マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。 我々は高効率なレンダリングのために3次元ガウススプラッティングを中心に手法を構築した。 提案手法をNeRSembleデータセット上で評価し,NPGAが従来の最先端アバターよりも優れていたことを示す。
• 参考スコア（独自算出の注目度）: 46.52887358194364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The creation of high-fidelity, digital versions of human heads is an important stepping stone in the process of further integrating virtual components into our everyday lives. Constructing such avatars is a challenging research problem, due to a high demand for photo-realism and real-time rendering performance. In this work, we propose Neural Parametric Gaussian Avatars (NPGA), a data-driven approach to create high-fidelity, controllable avatars from multi-view video recordings. We build our method around 3D Gaussian Splatting for its highly efficient rendering and to inherit the topological flexibility of point clouds. In contrast to previous work, we condition our avatars' dynamics on the rich expression space of neural parametric head models (NPHM), instead of mesh-based 3DMMs. To this end, we distill the backward deformation field of our underlying NPHM into forward deformations which are compatible with rasterization-based rendering. All remaining fine-scale, expression-dependent details are learned from the multi-view videos. To increase the representational capacity of our avatars, we augment the canonical Gaussian point cloud using per-primitive latent features which govern its dynamic behavior. To regularize this increased dynamic expressivity, we propose Laplacian terms on the latent features and predicted dynamics. We evaluate our method on the public NeRSemble dataset, demonstrating that NPGA significantly outperforms the previous state-of-the-art avatars on the self-reenactment task by 2.6 PSNR. Furthermore, we demonstrate accurate animation capabilities from real-world monocular videos.
• Abstract（参考訳）: 人間の頭部の高忠実なデジタルバージョンを作ることは、私たちの日常生活に仮想コンポーネントをさらに統合する過程において重要な一歩となる。 このようなアバターの構築は、写真リアリズムとリアルタイムレンダリング性能の要求が高いため、難しい研究課題である。 本研究では,多視点ビデオ記録から高忠実で制御可能なアバターを作成するためのデータ駆動型アプローチであるニューラルパラメトリックガウスアバター(NPGA)を提案する。 我々は高効率なレンダリングのために3次元ガウススプラッティングを中心に手法を構築し、点雲のトポロジカルな柔軟性を継承する。 従来の研究とは対照的に、メッシュベースの3DMMではなく、ニューラルパラメトリックヘッドモデル(NPHM)のリッチな表現空間にアバターのダイナミクスを条件付ける。 この目的のために、我々は基礎となるNPHMの後方変形場をラスタライズベースレンダリングと互換性のある前方変形に蒸留する。 残った微細で表現に依存した詳細はすべて、マルチビュービデオから学べる。 アバターの表現能力を高めるために,その動的挙動を規定する主成分ごとの潜在特徴を用いて,標準ガウス点雲を増大させる。 この動的表現率の増大を正則化するために、潜在特徴と予測力学に関するラプラシアン項を提案する。 提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。 さらに,実世界のモノクロビデオから,正確なアニメーション機能を示す。

関連論文リスト

• Bundle Adjusted Gaussian Avatars Deblurring [31.718130377229482]
  本研究では,人間の運動に起因するぼかし形成の3次元的物理指向モデルと,運動誘発ぼかし画像に見られる曖昧さを明らかにするための3次元人体運動モデルを提案する。 我々は,360度同期ハイブリッド露光カメラシステムによって取得された実撮データセットとともに,既存のマルチビューキャプチャから合成されたデータセットを用いて,このタスクのベンチマークを確立した。
  論文  参考訳（メタデータ） (2024-11-24T10:03:24Z)
• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• Expressive Gaussian Human Avatars from Monocular RGB Video [69.56388194249942]
  EVAは3DガウスとSMPL-Xに基づいて細部を巧みに彫刻する乾燥可能な人間モデルである。 SMPL-XモデルをRGBフレームに整合させることが,効果的なアバター学習において重要であることを強調した。 本稿では,勾配閾値を適応的に調整する適応密度制御戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-03T15:36:27Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。