論文の概要: Real-Time Animatable 2DGS-Avatars with Detail Enhancement from Monocular Videos

• arxiv url: http://arxiv.org/abs/2505.00421v1
• Date: Thu, 01 May 2025 09:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.276286
• Title: Real-Time Animatable 2DGS-Avatars with Detail Enhancement from Monocular Videos
• Title（参考訳）: 単眼映像からの細部強調によるリアルタイムアニマタブル2DGSアバター
• Authors: Xia Yuan, Hai Yuan, Wenyi Ge, Ying Fu, Xi Wu, Guanyu Xing,
• Abstract要約: 2次元ガウススプラッティング(2DGS)に基づくアニマタブルヒトアバター再構成のための新しいリアルタイムフレームワークを提案する。 我々のフレームワークは位置的および回転的不一致を整列し、再建されたアバターの頑健で自然なポーズ駆動アニメーションを可能にする。 実験により,本手法はモノクロビデオから現実的でアニメーション性の高い人間のアバターを再構築することに成功した。
• 参考スコア（独自算出の注目度）: 12.886556055649251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-quality, animatable 3D human avatar reconstruction from monocular videos offers significant potential for reducing reliance on complex hardware, making it highly practical for applications in game development, augmented reality, and social media. However, existing methods still face substantial challenges in capturing fine geometric details and maintaining animation stability, particularly under dynamic or complex poses. To address these issues, we propose a novel real-time framework for animatable human avatar reconstruction based on 2D Gaussian Splatting (2DGS). By leveraging 2DGS and global SMPL pose parameters, our framework not only aligns positional and rotational discrepancies but also enables robust and natural pose-driven animation of the reconstructed avatars. Furthermore, we introduce a Rotation Compensation Network (RCN) that learns rotation residuals by integrating local geometric features with global pose parameters. This network significantly improves the handling of non-rigid deformations and ensures smooth, artifact-free pose transitions during animation. Experimental results demonstrate that our method successfully reconstructs realistic and highly animatable human avatars from monocular videos, effectively preserving fine-grained details while ensuring stable and natural pose variation. Our approach surpasses current state-of-the-art methods in both reconstruction quality and animation robustness on public benchmarks.
• Abstract（参考訳）: モノクロビデオからの高品質でアニマタブルな3Dアバターの再構築は、複雑なハードウェアへの依存を減らす大きな可能性を秘めており、ゲーム開発、拡張現実、ソーシャルメディアの応用に非常に実用的である。 しかし、既存の手法は、特に動的または複雑なポーズの下で、微妙な幾何学的詳細を捉え、アニメーションの安定性を維持するという重大な課題に直面している。 これらの課題に対処するために,2次元ガウススプラッティング (2DGS) に基づく人体アバター再構成のための新しいリアルタイムフレームワークを提案する。 2DGSとグローバルSMPLのポーズパラメータを活用することで、我々のフレームワークは位置的および回転的不一致を整列するだけでなく、再建されたアバターの堅牢で自然なポーズ駆動アニメーションを可能にする。 さらに,局所幾何学的特徴と大域的ポーズパラメータを統合することで回転残差を学習する回転補償ネットワーク(RCN)を導入する。 このネットワークは、厳密でない変形の処理を大幅に改善し、アニメーション中のスムーズでアーティファクトのないポーズ遷移を保証する。 実験により,本手法はモノクロビデオから現実的でアニメーション性の高い人間のアバターを再構成し,細かな細部を効果的に保存し,安定かつ自然なポーズの変動を確実にすることを示す。 提案手法は,公開ベンチマークにおける再現品質とアニメーションの堅牢性の両方において,現在の最先端手法を超越している。

関連論文リスト

• RealityAvatar: Towards Realistic Loose Clothing Modeling in Animatable 3D Gaussian Avatars [4.332718737928592]
  本研究では,高忠実度デジタルヒューマンモデリングのための効率的なフレームワークであるRealAvatarを提案する。 動作トレンドモジュールと潜在骨エンコーダを組み込むことで,ポーズ依存的な変形と衣服行動の時間的変動をモデル化する。 特に非剛性領域における動的ヒト再建における構造的忠実度と知覚的品質を著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-02T09:59:12Z)
• FRESA: Feedforward Reconstruction of Personalized Skinned Avatars from Few Images [74.86864398919467]
  数枚の画像からリアルなアニメーションで、パーソナライズされた3Dアバターを再構成する新しい手法を提案する。 我々は、1000人以上の服を着た人間から普遍的な事前学習を行い、即時フィードフォワード生成とゼロショット一般化を実現する。 提案手法は, 最新技術よりも忠実な再構築とアニメーションを生成し, カジュアルに撮影された携帯電話写真からの入力に直接一般化することができる。
  論文  参考訳（メタデータ） (2025-03-24T23:20:47Z)
• LHM: Large Animatable Human Reconstruction Model from a Single Image in Seconds [21.99354901986186]
  フィードフォワードパスで3次元ガウススプラッティングを表現した高忠実度アバターを推定するためのLHM(Large Animatable Human Reconstruction Model)を提案する。 本モデルでは,マルチモーダルトランスフォーマーアーキテクチャを用いて,人体の位置や画像の特徴を効果的に符号化する。 我々のLHMは、顔と手を後処理することなく、数秒で可塑性アニマタブルな人間を生成し、再現精度と一般化能力の両方において既存の手法より優れています。
  論文  参考訳（メタデータ） (2025-03-13T17:59:21Z)
• Better Together: Unified Motion Capture and 3D Avatar Reconstruction [6.329917162442801]
  マルチビュービデオから3次元アバターを再構成しながら,人間のポーズ推定問題を同時に解決する手法を提案する。 パーソナライズされたメッシュ上に3Dガウシアンを組み込んだアニマタブルアバターを新たに導入した。 我々はまず,高度に挑戦するヨガポーズについて評価し,多視点人間のポーズ推定における最先端の精度を示す。
  論文  参考訳（メタデータ） (2025-03-12T11:39:43Z)
• Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos [64.10307207290039]
  本研究では,モーションブルモノクロビデオ入力から高忠実でアニマタブルな3次元アバターをモデリングするための新しいフレームワークを提案する。 被曝時の人体運動軌跡を明示的にモデル化することにより、鋭く高品質な人体アバターを再構築するために、軌跡と3Dガウスアンを共同で最適化する。
  論文  参考訳（メタデータ） (2025-01-23T02:31:57Z)
• 3D$^2$-Actor: Learning Pose-Conditioned 3D-Aware Denoiser for Realistic Gaussian Avatar Modeling [37.11454674584874]
  ポーズ条件付き3D対応ヒューマンモデリングパイプラインである3D$2$-Actorを導入する。 実験により、3D$2$-アクターは高忠実度アバターモデリングにおいて優れ、新しいポーズに頑健に一般化することを示した。
  論文  参考訳（メタデータ） (2024-12-16T09:37:52Z)
• AniGS: Animatable Gaussian Avatar from a Single Image with Inconsistent Gaussian Reconstruction [26.82525451095629]
  本稿では,不整合画像の3次元再構成のためのロバストな手法を提案し,推論中のリアルタイムレンダリングを実現する。 再建問題を4次元課題として再検討し, 4次元ガウススプラッティングを用いた効率的な3次元モデリング手法を提案する。 実験により,本手法は3次元人体アバターの光実写・リアルタイムアニメーションを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:55:39Z)
• Make-It-Animatable: An Efficient Framework for Authoring Animation-Ready 3D Characters [86.13319549186959]
  我々は3次元ヒューマノイドモデルを1秒未満でキャラクターアニメーションに対応させる新しいデータ駆動方式であるMake-It-Animatableを提案する。 我々のフレームワークは、高品質なブレンドウェイト、骨、ポーズトランスフォーメーションを生成します。 既存の手法と比較して,本手法は品質と速度の両方において著しく改善されている。
  論文  参考訳（メタデータ） (2024-11-27T10:18:06Z)
• VividPose: Advancing Stable Video Diffusion for Realistic Human Image Animation [79.99551055245071]
  時間的安定性を向上するエンドツーエンドパイプラインであるVividPoseを提案する。 識別対応外見制御器は、他の外見の詳細を損なうことなく、追加の顔情報を統合する。 SMPL-Xからの高密度レンダリングマップとスパーススケルトンマップの両方を利用する幾何対応のポーズコントローラ。 VividPoseは、提案したWildデータセットに優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-05-28T13:18:32Z)
• Do You Guys Want to Dance: Zero-Shot Compositional Human Dance Generation with Multiple Persons [73.21855272778616]
  コンポジション・ヒューマン・ダンス・ジェネレーション(cHDG)の新しいタスク、データセット、評価プロトコルを導入する。 そこで我々は,任意の人物や背景に整合した動画を正確に追従しながら合成する,MultiDance-Zeroという新しいゼロショットフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-24T10:44:16Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• ARCH++: Animation-Ready Clothed Human Reconstruction Revisited [82.83445332309238]
  任意の服装スタイルで3Dアバターを再構成する画像ベースARCH++を提案する。 再建されたアバターは、入力ビューから見える領域と見えない領域の両方において、アニメーションに対応しており、非常にリアルである。
  論文  参考訳（メタデータ） (2021-08-17T19:27:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。