論文の概要: 3D-Consistent Human Avatars with Sparse Inputs via Gaussian Splatting and Contrastive Learning

• arxiv url: http://arxiv.org/abs/2408.09663v3
• Date: Tue, 19 Nov 2024 12:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:33:45.403056
• Title: 3D-Consistent Human Avatars with Sparse Inputs via Gaussian Splatting and Contrastive Learning
• Title（参考訳）: ガウススプラッティングとコントラスト学習によるスパース入力による3次元一貫性を有するヒトアバター
• Authors: Haoyu Zhao, Hao Wang, Chen Yang, Wei Shen,
• Abstract要約: CHASEはスパース入力のみを使用して高密度なインプットレベルのパフォーマンスを実現する新しいフレームワークである。 トレーニングセットからの類似のポーズを活用することにより,変形したガウスを洗練する動的アバター調整(DAA)モジュールを導入する。 スパース入力用に設計されているが、CHASEはZJU-MoCapとH36Mデータセットのフル設定とスパース設定の両方で最先端のメソッドを超越している。
• 参考スコア（独自算出の注目度）: 19.763523500564542
• License:
• Abstract: Existing approaches for human avatar generation--both NeRF-based and 3D Gaussian Splatting (3DGS) based--struggle with maintaining 3D consistency and exhibit degraded detail reconstruction, particularly when training with sparse inputs. To address this challenge, we propose CHASE, a novel framework that achieves dense-input-level performance using only sparse inputs through two key innovations: cross-pose intrinsic 3D consistency supervision and 3D geometry contrastive learning. Building upon prior skeleton-driven approaches that combine rigid deformation with non-rigid cloth dynamics, we first establish baseline avatars with fundamental 3D consistency. To enhance 3D consistency under sparse inputs, we introduce a Dynamic Avatar Adjustment (DAA) module, which refines deformed Gaussians by leveraging similar poses from the training set. By minimizing the rendering discrepancy between adjusted Gaussians and reference poses, DAA provides additional supervision for avatar reconstruction. We further maintain global 3D consistency through a novel geometry-aware contrastive learning strategy. While designed for sparse inputs, CHASE surpasses state-of-the-art methods across both full and sparse settings on ZJU-MoCap and H36M datasets, demonstrating that our enhanced 3D consistency leads to superior rendering quality.
• Abstract（参考訳）: NeRFと3D Gaussian Splatting(3DGS)をベースとした既存のアバター生成手法は、3D整合性を維持し、特にスパース入力によるトレーニングにおいて劣化した詳細再構築を示す。 この課題に対処するために、我々は2つの重要な革新を通してスパース入力のみを用いて高密度インプットレベルの性能を実現する新しいフレームワークであるCHASEを提案する。 剛性変形と非剛性布の力学を結合した以前の骨格駆動型アプローチに基づいて,まず基本3次元整合性を持つベースラインアバターを確立する。 スパース入力下での3D整合性を高めるため,トレーニングセットからの類似のポーズを利用して変形したガウスを改良する動的アバター調整(DAA)モジュールを導入する。 調整されたガウスと参照ポーズのレンダリングの差を最小限にすることで、DAAはアバター再構築のための追加の監督を提供する。 我々は、新しい幾何学的認識型コントラスト学習戦略により、グローバルな3D一貫性をさらに維持する。 スパース入力用に設計されているCHASEは、ZJU-MoCapとH36Mデータセットのフル設定とスパース設定の両方にまたがって最先端のメソッドを超越し、我々の拡張された3D一貫性がより優れたレンダリング品質をもたらすことを示した。

関連論文リスト

• DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion [69.67970568012599]
  テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。 このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。 我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
  論文  参考訳（メタデータ） (2024-09-25T17:59:45Z)
• SG-GS: Photo-realistic Animatable Human Avatars with Semantically-Guided Gaussian Splatting [18.421585526595944]
  本研究では,SG-GSを提案する。SG-GSは3次元ガウスのセマンティックス埋め込み,骨格駆動型剛性変形,および非剛性布の動的変形を用いて,モノクロビデオからフォトリアリスティックアニマタブルな人体アバターを作成する。 また,人間のアバター変形に対する幾何学的および意味的関連性を統合する3次元ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:58:20Z)
• GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
  モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。 私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。 通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:15Z)
• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
  本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。 アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
  論文  参考訳（メタデータ） (2023-05-21T17:59:39Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。