論文の概要: HAHA: Highly Articulated Gaussian Human Avatars with Textured Mesh Prior

• arxiv url: http://arxiv.org/abs/2404.01053v2
• Date: Wed, 09 Oct 2024 14:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:27:48.618382
• Title: HAHA: Highly Articulated Gaussian Human Avatars with Textured Mesh Prior
• Title（参考訳）: HAHA:前もってテクスチャメッシュで高音質のガウス人アバター
• Authors: David Svitov, Pietro Morerio, Lourdes Agapito, Alessio Del Bue,
• Abstract要約: HAHAは単眼入力ビデオからヒトアバターをアニマタブルに生成するための新しいアプローチである。 SMPL-Xパラメトリックモデルを用いて全身のアバターをアニメーション化しレンダリングする効率を実証する。
• 参考スコア（独自算出の注目度）: 24.094129395653134
• License:
• Abstract: We present HAHA - a novel approach for animatable human avatar generation from monocular input videos. The proposed method relies on learning the trade-off between the use of Gaussian splatting and a textured mesh for efficient and high fidelity rendering. We demonstrate its efficiency to animate and render full-body human avatars controlled via the SMPL-X parametric model. Our model learns to apply Gaussian splatting only in areas of the SMPL-X mesh where it is necessary, like hair and out-of-mesh clothing. This results in a minimal number of Gaussians being used to represent the full avatar, and reduced rendering artifacts. This allows us to handle the animation of small body parts such as fingers that are traditionally disregarded. We demonstrate the effectiveness of our approach on two open datasets: SnapshotPeople and X-Humans. Our method demonstrates on par reconstruction quality to the state-of-the-art on SnapshotPeople, while using less than a third of Gaussians. HAHA outperforms previous state-of-the-art on novel poses from X-Humans both quantitatively and qualitatively.
• Abstract（参考訳）: 本稿では,モノクラー入力ビデオからヒトアバターをアニマタブルに生成するための新しいアプローチであるHAHAを提案する。 提案手法はガウススプラッティングとテクスチャメッシュとのトレードオフを効率よく高忠実なレンダリングのために学習することに依存する。 SMPL-Xパラメトリックモデルを用いて全身のアバターをアニメーション化しレンダリングする効率を実証する。 我々のモデルは,毛髪や外装など,必要となるSMPL-Xメッシュの領域にのみガウススプラッティングを適用することを学習する。 これにより、完全なアバターを表現するために使用されるガウスの数は最小限となり、レンダリングアーティファクトは減少する。 これにより、伝統的に無視される指のような小さな身体の部分のアニメーションを処理できる。 我々は、SnapshotPeopleとX-Humansの2つのオープンデータセットに対するアプローチの有効性を実証した。 提案手法は,3分の1未満のガウス人を用いて,SnapshotPeopleにおける最先端の復元品質を実証する。 HAHAはX-Humansの以前の最先端小説のポーズを量的にも質的にも上回っている。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• Expressive Gaussian Human Avatars from Monocular RGB Video [69.56388194249942]
  EVAは3DガウスとSMPL-Xに基づいて細部を巧みに彫刻する乾燥可能な人間モデルである。 SMPL-XモデルをRGBフレームに整合させることが,効果的なアバター学習において重要であることを強調した。 本稿では,勾配閾値を適応的に調整する適応密度制御戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-03T15:36:27Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• HUGS: Human Gaussian Splats [21.73294518957075]
  HUGS(Human Gaussian Splats)を紹介する。 本手法は,少数の(50-100)フレームのモノクロ映像のみを撮影し,30分以内に静止シーンと完全にアニメーション可能な人間のアバターを自動で切り離すことを学習する。 我々は60FPSのレンダリング速度で最先端のレンダリング品質を実現し、従来の作業よりも100倍高速なトレーニングを実現した。
  論文  参考訳（メタデータ） (2023-11-29T18:56:32Z)
• Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [8.719797382786464]
  この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。 本稿では,3次元ガウススプラッティングに基づくアニマタブルな人体モデルを提案する。 提案手法は, THuman4データセット上での最先端PSNRの改善を1.5dBで実現し, リアルタイムにレンダリングできる(512x512の80 fps)。
  論文  参考訳（メタデータ） (2023-11-28T12:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。