論文の概要: Expressive Gaussian Human Avatars from Monocular RGB Video

• arxiv url: http://arxiv.org/abs/2407.03204v1
• Date: Wed, 3 Jul 2024 15:36:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 13:37:05.913183
• Title: Expressive Gaussian Human Avatars from Monocular RGB Video
• Title（参考訳）: モノクラーRGBビデオからの表現型ガウス人アバター
• Authors: Hezhen Hu, Zhiwen Fan, Tianhao Wu, Yihan Xi, Seoyoung Lee, Georgios Pavlakos, Zhangyang Wang,
• Abstract要約: EVAは3DガウスとSMPL-Xに基づいて細部を巧みに彫刻する乾燥可能な人間モデルである。 SMPL-XモデルをRGBフレームに整合させることが,効果的なアバター学習において重要であることを強調した。 本稿では,勾配閾値を適応的に調整する適応密度制御戦略を提案する。
• 参考スコア（独自算出の注目度）: 69.56388194249942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nuanced expressiveness, particularly through fine-grained hand and facial expressions, is pivotal for enhancing the realism and vitality of digital human representations. In this work, we focus on investigating the expressiveness of human avatars when learned from monocular RGB video; a setting that introduces new challenges in capturing and animating fine-grained details. To this end, we introduce EVA, a drivable human model that meticulously sculpts fine details based on 3D Gaussians and SMPL-X, an expressive parametric human model. Focused on enhancing expressiveness, our work makes three key contributions. First, we highlight the critical importance of aligning the SMPL-X model with RGB frames for effective avatar learning. Recognizing the limitations of current SMPL-X prediction methods for in-the-wild videos, we introduce a plug-and-play module that significantly ameliorates misalignment issues. Second, we propose a context-aware adaptive density control strategy, which is adaptively adjusting the gradient thresholds to accommodate the varied granularity across body parts. Last but not least, we develop a feedback mechanism that predicts per-pixel confidence to better guide the learning of 3D Gaussians. Extensive experiments on two benchmarks demonstrate the superiority of our framework both quantitatively and qualitatively, especially on the fine-grained hand and facial details. See the project website at \url{https://evahuman.github.io}
• Abstract（参考訳）: ニュアンセド表現性、特にきめ細かな手や表情を通しては、デジタル人間表現の現実性と活力を高めるのに重要である。 本研究では、単眼のRGBビデオから学んだ人間のアバターの表現性を調査することに注力する。 この目的のために,3次元ガウスモデルと表現的パラメトリック人間モデルSMPL-Xに基づいて細部を巧みに彫刻する乾燥可能な人間モデルであるEVAを紹介した。 表現力の向上に焦点をあてて、我々の研究は3つの重要な貢献をしている。 まず,実効的なアバター学習のために,SMPL-XモデルをRGBフレームに整合させることの重要性を強調した。 現行のSMPL-X予測手法の限界を認識し,プラグ・アンド・プレイ・モジュールを導入し,誤調整問題を著しく改善した。 第2に,各部位の粒度に応じて勾配閾値を適応的に調整するコンテキスト対応適応密度制御手法を提案する。 最後に,3次元ガウス学習の指針として,画素ごとの信頼度を予測するフィードバック機構を開発する。 2つのベンチマークでの大規模な実験は、特にきめ細かい手と顔の詳細について、定量的かつ質的に、我々のフレームワークの優位性を実証している。 プロジェクトのWebサイトは、 \url{https://eva human.github.io} にある。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
  マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。 我々は,高効率なレンダリングのための3次元ガウススプラッティングの手法を構築し,点雲のトポロジカルな柔軟性を継承する。 提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:58:09Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
  モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。 私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。 通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:15Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• X-Avatar: Expressive Human Avatars [33.24502928725897]
  我々は、デジタル人間の完全な表現性を捉え、テレプレゼンス、AR/VRなどのライフライクな体験をもたらす新しいアバターモデルであるX-アバターを提示する。 本手法は,体,手,表情,外観を包括的にモデル化し,フル3DスキャンまたはRGB-Dデータから学習することができる。
  論文  参考訳（メタデータ） (2023-03-08T18:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。