論文の概要: UMA: Ultra-detailed Human Avatars via Multi-level Surface Alignment

• arxiv url: http://arxiv.org/abs/2506.01802v1
• Date: Mon, 02 Jun 2025 15:42:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.592748
• Title: UMA: Ultra-detailed Human Avatars via Multi-level Surface Alignment
• Title（参考訳）: UMA:多面表面アライメントによる超詳細人間のアバター
• Authors: Heming Zhu, Guoxing Sun, Christian Theobalt, Marc Habermann,
• Abstract要約: 多視点ビデオから鮮明なダイナミック性とフォトリアリスティックな外観を持つアニマタブルな人間のアバターモデルを学ぶことは、コンピュータグラフィックスとビジョンにおいて重要な基礎研究課題である。 本稿では,基本的な2次元ビデオポイントトラッカーからのガイダンスを用いて,潜時変形モデルを提案し,アニマタブルキャラクタの3次元変形を監督する。 提案手法は,先行技術に比べてレンダリング品質と幾何学的精度が大幅に向上したことを示す。
• 参考スコア（独自算出の注目度）: 55.0783220713185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning an animatable and clothed human avatar model with vivid dynamics and photorealistic appearance from multi-view videos is an important foundational research problem in computer graphics and vision. Fueled by recent advances in implicit representations, the quality of the animatable avatars has achieved an unprecedented level by attaching the implicit representation to drivable human template meshes. However, they usually fail to preserve the highest level of detail, particularly apparent when the virtual camera is zoomed in and when rendering at 4K resolution and higher. We argue that this limitation stems from inaccurate surface tracking, specifically, depth misalignment and surface drift between character geometry and the ground truth surface, which forces the detailed appearance model to compensate for geometric errors. To address this, we propose a latent deformation model and supervising the 3D deformation of the animatable character using guidance from foundational 2D video point trackers, which offer improved robustness to shading and surface variations, and are less prone to local minima than differentiable rendering. To mitigate the drift over time and lack of 3D awareness of 2D point trackers, we introduce a cascaded training strategy that generates consistent 3D point tracks by anchoring point tracks to the rendered avatar, which ultimately supervises our avatar at the vertex and texel level. To validate the effectiveness of our approach, we introduce a novel dataset comprising five multi-view video sequences, each over 10 minutes in duration, captured using 40 calibrated 6K-resolution cameras, featuring subjects dressed in clothing with challenging texture patterns and wrinkle deformations. Our approach demonstrates significantly improved performance in rendering quality and geometric accuracy over the prior state of the art.
• Abstract（参考訳）: 多視点ビデオから鮮明なダイナミック性とフォトリアリスティックな外観を持つアニマタブルな人間のアバターモデルを学ぶことは、コンピュータグラフィックスとビジョンにおいて重要な基礎研究課題である。 暗黙の表現の最近の進歩により、アニマタブルアバターの品質は、乾燥可能なヒトテンプレートメッシュに暗黙の表現を付加することで、前例のない水準に達した。 しかし、特に仮想カメラがズームインされ、4K解像度以上でレンダリングされる場合、特に顕著なディテールを維持するのに失敗する。 この制限は、不正確な表面追跡、具体的には、文字幾何学と地上の真理曲面との間の深さのずれと表面のドリフトから生じるものであり、詳細な外観モデルに幾何誤差を補うよう強制する。 そこで本研究では,基本的な2次元ビデオポイントトラッカーからのガイダンスを用いて,潜時変形モデルとアニマタブルキャラクタの3次元変形の監視を行う。 2Dポイントトラッカーのドリフトと3D認識の欠如を緩和するため、我々は、点線をレンダリングされたアバターに固定することで一貫した3Dポイントトラックを生成するカスケードトレーニング戦略を導入し、最終的に頂点とテクセルレベルのアバターを監督する。 提案手法の有効性を検証するため,40口径の6K解像度カメラを用いて10分毎に5つの多視点ビデオシーケンスからなる新しいデータセットを提案する。 提案手法は,従来の最先端技術に比べて,レンダリング品質と幾何学的精度が大幅に向上したことを示す。

関連論文リスト

• TeGA: Texture Space Gaussian Avatars for High-Resolution Dynamic Head Modeling [52.87836237427514]
  フォトリアルアバターは、テレプレゼンス、拡張現実、エンターテイメントにおける新興アプリケーションにおいて重要な要素であると見なされている。 本稿では,最先端の3Dヘッドアバターモデルを提案する。
  論文  参考訳（メタデータ） (2025-05-08T22:10:27Z)
• DreamDance: Animating Human Images by Enriching 3D Geometry Cues from 2D Poses [57.17501809717155]
  本研究では,骨格ポーズシーケンスのみを条件入力として,人間のイメージをアニメーションする新しい手法であるDreamDanceを提案する。 私たちの重要な洞察は、人間の画像は自然に複数のレベルの相関を示すということです。 我々は5Kの高品質なダンスビデオと詳細なフレームアノテーションを組み合わせたTikTok-Dance5Kデータセットを構築した。
  論文  参考訳（メタデータ） (2024-11-30T08:42:13Z)
• AvatarPose: Avatar-guided 3D Pose Estimation of Close Human Interaction from Sparse Multi-view Videos [31.904839609743448]
  既存のマルチビュー手法は、複数の密接な対話の人々の3Dポーズと形状を推定する上で、しばしば課題に直面します。 個人ごとのパーソナライズされた暗黙的神経アバターを前者として活用する新しい手法を提案する。 実験により、いくつかの公開データセット上での最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-04T18:41:35Z)
• TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
  TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。 我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。 このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
  論文  参考訳（メタデータ） (2023-12-08T16:40:38Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。