論文の概要: NPGA: Neural Parametric Gaussian Avatars

• arxiv url: http://arxiv.org/abs/2405.19331v1
• Date: Wed, 29 May 2024 17:58:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 15:52:40.426499
• Title: NPGA: Neural Parametric Gaussian Avatars
• Title（参考訳）: NPGA:ニューラルパラメトリックガウスアバター
• Authors: Simon Giebenhain, Tobias Kirschstein, Martin Rünz, Lourdes Agapito, Matthias Nießner,
• Abstract要約: マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。 我々は高効率なレンダリングのために3次元ガウススプラッティングを中心に手法を構築した。 提案手法をNeRSembleデータセット上で評価し,NPGAが従来の最先端アバターよりも優れていたことを示す。
• 参考スコア（独自算出の注目度）: 46.52887358194364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The creation of high-fidelity, digital versions of human heads is an important stepping stone in the process of further integrating virtual components into our everyday lives. Constructing such avatars is a challenging research problem, due to a high demand for photo-realism and real-time rendering performance. In this work, we propose Neural Parametric Gaussian Avatars (NPGA), a data-driven approach to create high-fidelity, controllable avatars from multi-view video recordings. We build our method around 3D Gaussian Splatting for its highly efficient rendering and to inherit the topological flexibility of point clouds. In contrast to previous work, we condition our avatars' dynamics on the rich expression space of neural parametric head models (NPHM), instead of mesh-based 3DMMs. To this end, we distill the backward deformation field of our underlying NPHM into forward deformations which are compatible with rasterization-based rendering. All remaining fine-scale, expression-dependent details are learned from the multi-view videos. To increase the representational capacity of our avatars, we augment the canonical Gaussian point cloud using per-primitive latent features which govern its dynamic behavior. To regularize this increased dynamic expressivity, we propose Laplacian terms on the latent features and predicted dynamics. We evaluate our method on the public NeRSemble dataset, demonstrating that NPGA significantly outperforms the previous state-of-the-art avatars on the self-reenactment task by 2.6 PSNR. Furthermore, we demonstrate accurate animation capabilities from real-world monocular videos.
• Abstract（参考訳）: 人間の頭部の高忠実なデジタルバージョンを作ることは、私たちの日常生活に仮想コンポーネントをさらに統合する過程において重要な一歩となる。 このようなアバターの構築は、写真リアリズムとリアルタイムレンダリング性能の要求が高いため、難しい研究課題である。 本研究では,多視点ビデオ記録から高忠実で制御可能なアバターを作成するためのデータ駆動型アプローチであるニューラルパラメトリックガウスアバター(NPGA)を提案する。 我々は高効率なレンダリングのために3次元ガウススプラッティングを中心に手法を構築し、点雲のトポロジカルな柔軟性を継承する。 従来の研究とは対照的に、メッシュベースの3DMMではなく、ニューラルパラメトリックヘッドモデル(NPHM)のリッチな表現空間にアバターのダイナミクスを条件付ける。 この目的のために、我々は基礎となるNPHMの後方変形場をラスタライズベースレンダリングと互換性のある前方変形に蒸留する。 残った微細で表現に依存した詳細はすべて、マルチビュービデオから学べる。 アバターの表現能力を高めるために,その動的挙動を規定する主成分ごとの潜在特徴を用いて,標準ガウス点雲を増大させる。 この動的表現率の増大を正則化するために、潜在特徴と予測力学に関するラプラシアン項を提案する。 提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。 さらに,実世界のモノクロビデオから,正確なアニメーション機能を示す。

関連論文リスト

• Expressive Gaussian Human Avatars from Monocular RGB Video [69.56388194249942]
  EVAは3DガウスとSMPL-Xに基づいて細部を巧みに彫刻する乾燥可能な人間モデルである。 SMPL-XモデルをRGBフレームに整合させることが,効果的なアバター学習において重要であることを強調した。 本稿では,勾配閾値を適応的に調整する適応密度制御戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-03T15:36:27Z)
• FAGhead: Fully Animate Gaussian Head from Monocular Videos [2.9979421496374683]
  FAGheadは、モノクロビデオから完全に制御可能な人間の肖像画を可能にする方法である。 従来の3次元形状メッシュ(3DMM)を明示し,中性な3次元ガウス多様体を複素表現で再構成するために最適化する。 アバターのエッジを効果的に管理するために,各画素のアルファ値を監督するアルファレンダリングを導入した。
  論文  参考訳（メタデータ） (2024-06-27T10:40:35Z)
• GoMAvatar: Efficient Animatable Human Modeling from Monocular Video Using Gaussians-on-Mesh [97.47701169876272]
  GoMAvatarは、リアルタイム、メモリ効率、高品質な人間のモデリングのための新しいアプローチである。 GoMAvatarは、レンダリング品質において、現在のモノラルな人間のモデリングアルゴリズムにマッチするか、上回っている。
  論文  参考訳（メタデータ） (2024-04-11T17:59:57Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。