論文の概要: Better Together: Unified Motion Capture and 3D Avatar Reconstruction

• arxiv url: http://arxiv.org/abs/2503.09293v1
• Date: Wed, 12 Mar 2025 11:39:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:39:13.058753
• Title: Better Together: Unified Motion Capture and 3D Avatar Reconstruction
• Title（参考訳）: 一体型モーションキャプチャーと3Dアバターコンストラクション
• Authors: Arthur Moreau, Mohammed Brahimi, Richard Shaw, Athanasios Papaioannou, Thomas Tanay, Zhensong Zhang, Eduardo Pérez-Pellitero,
• Abstract要約: マルチビュービデオから3次元アバターを再構成しながら,人間のポーズ推定問題を同時に解決する手法を提案する。 パーソナライズされたメッシュ上に3Dガウシアンを組み込んだアニマタブルアバターを新たに導入した。 我々はまず,高度に挑戦するヨガポーズについて評価し,多視点人間のポーズ推定における最先端の精度を示す。
• 参考スコア（独自算出の注目度）: 6.329917162442801
• License:
• Abstract: We present Better Together, a method that simultaneously solves the human pose estimation problem while reconstructing a photorealistic 3D human avatar from multi-view videos. While prior art usually solves these problems separately, we argue that joint optimization of skeletal motion with a 3D renderable body model brings synergistic effects, i.e. yields more precise motion capture and improved visual quality of real-time rendering of avatars. To achieve this, we introduce a novel animatable avatar with 3D Gaussians rigged on a personalized mesh and propose to optimize the motion sequence with time-dependent MLPs that provide accurate and temporally consistent pose estimates. We first evaluate our method on highly challenging yoga poses and demonstrate state-of-the-art accuracy on multi-view human pose estimation, reducing error by 35% on body joints and 45% on hand joints compared to keypoint-based methods. At the same time, our method significantly boosts the visual quality of animatable avatars (+2dB PSNR on novel view synthesis) on diverse challenging subjects.
• Abstract（参考訳）: 多視点ビデオから写真リアルな3Dアバターを再構成しながら、人間のポーズ推定問題を同時に解く方法であるBetter Togetherを提案する。 先行技術は通常これらの問題を別々に解決するが、3Dレンダリング可能なボディモデルによる骨格運動の共同最適化はシナジスティック効果をもたらす、すなわち、より正確なモーションキャプチャとアバターのリアルタイムレンダリングの視覚的品質の向上をもたらす、と主張する。 そこで本研究では,個人化されたメッシュ上に3次元ガウシアンを組み込んだアニマタブルアバターを導入し,時間依存型MLPを用いた動き列を最適化し,正確な時間的一貫したポーズ推定を提案する。 我々はまず,高度に挑戦するヨガポーズについて評価し,多視点人間のポーズ推定における最先端の精度を実証し,キーポイント法と比較して身体関節で35%,手関節で45%の誤差を低減した。 同時に,本手法は,多種多様な課題に対して,アニマタブルアバター (+2dB PSNR) の視覚的品質を著しく向上させる。

関連論文リスト

• Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos [64.10307207290039]
  本研究では,モーションブルモノクロビデオ入力から高忠実でアニマタブルな3次元アバターをモデリングするための新しいフレームワークを提案する。 被曝時の人体運動軌跡を明示的にモデル化することにより、鋭く高品質な人体アバターを再構築するために、軌跡と3Dガウスアンを共同で最適化する。
  論文  参考訳（メタデータ） (2025-01-23T02:31:57Z)
• AniGS: Animatable Gaussian Avatar from a Single Image with Inconsistent Gaussian Reconstruction [26.82525451095629]
  本稿では,不整合画像の3次元再構成のためのロバストな手法を提案し,推論中のリアルタイムレンダリングを実現する。 再建問題を4次元課題として再検討し, 4次元ガウススプラッティングを用いた効率的な3次元モデリング手法を提案する。 実験により,本手法は3次元人体アバターの光実写・リアルタイムアニメーションを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:55:39Z)
• Bundle Adjusted Gaussian Avatars Deblurring [31.718130377229482]
  本研究では,人間の運動に起因するぼかし形成の3次元的物理指向モデルと,運動誘発ぼかし画像に見られる曖昧さを明らかにするための3次元人体運動モデルを提案する。 我々は,360度同期ハイブリッド露光カメラシステムによって取得された実撮データセットとともに,既存のマルチビューキャプチャから合成されたデータセットを用いて,このタスクのベンチマークを確立した。
  論文  参考訳（メタデータ） (2024-11-24T10:03:24Z)
• AvatarPose: Avatar-guided 3D Pose Estimation of Close Human Interaction from Sparse Multi-view Videos [31.904839609743448]
  既存のマルチビュー手法は、複数の密接な対話の人々の3Dポーズと形状を推定する上で、しばしば課題に直面します。 個人ごとのパーソナライズされた暗黙的神経アバターを前者として活用する新しい手法を提案する。 実験により、いくつかの公開データセット上での最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-04T18:41:35Z)
• GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
  モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。 私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。 通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:15Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [8.719797382786464]
  この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。 本稿では,3次元ガウススプラッティングに基づくアニマタブルな人体モデルを提案する。 提案手法は, THuman4データセット上での最先端PSNRの改善を1.5dBで実現し, リアルタイムにレンダリングできる(512x512の80 fps)。
  論文  参考訳（メタデータ） (2023-11-28T12:05:41Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• Human from Blur: Human Pose Tracking from Blurry Images [89.65036443997103]
  ほぼぼやけた画像から3次元人間のポーズを推定する手法を提案する。 中心となる考え方は、人間の3次元モデル、テクスチャマップ、人間の動きを記述するポーズの列で前方の問題をモデル化することで、画像劣化の逆問題に取り組むことである。 微分可能なステップを用いることで、画素ワイズ再投影誤差をバックプロパゲートして、最適な人間の動作表現を復元することで、逆問題を解決することができる。
  論文  参考訳（メタデータ） (2023-03-30T08:05:59Z)
• SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
  頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。 この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。 本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-02T16:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。