論文の概要: HumanMM: Global Human Motion Recovery from Multi-shot Videos

• arxiv url: http://arxiv.org/abs/2503.07597v1
• Date: Mon, 10 Mar 2025 17:57:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:44:05.851940
• Title: HumanMM: Global Human Motion Recovery from Multi-shot Videos
• Title（参考訳）: HumanMM:マルチショットビデオによる世界的人間の動きの回復
• Authors: Yuhong Zhang, Guanlin Wu, Ling-Hao Chen, Zhuokai Zhao, Jing Lin, Xiaoke Jiang, Jiamin Wu, Zhuoheng Li, Hao Frank Yang, Haoqian Wang, Lei Zhang,
• Abstract要約: 本稿では,複数のショット遷移を伴って,世界における長時間の人間の動きを再現する新しいフレームワークを提案する。 このような長時間の動作は、モーション生成やモーション理解といった応用に非常に有用である。
• 参考スコア（独自算出の注目度）: 24.273414172013933
• License:
• Abstract: In this paper, we present a novel framework designed to reconstruct long-sequence 3D human motion in the world coordinates from in-the-wild videos with multiple shot transitions. Such long-sequence in-the-wild motions are highly valuable to applications such as motion generation and motion understanding, but are of great challenge to be recovered due to abrupt shot transitions, partial occlusions, and dynamic backgrounds presented in such videos. Existing methods primarily focus on single-shot videos, where continuity is maintained within a single camera view, or simplify multi-shot alignment in camera space only. In this work, we tackle the challenges by integrating an enhanced camera pose estimation with Human Motion Recovery (HMR) by incorporating a shot transition detector and a robust alignment module for accurate pose and orientation continuity across shots. By leveraging a custom motion integrator, we effectively mitigate the problem of foot sliding and ensure temporal consistency in human pose. Extensive evaluations on our created multi-shot dataset from public 3D human datasets demonstrate the robustness of our method in reconstructing realistic human motion in world coordinates.
• Abstract（参考訳）: 本稿では,複数の撮影遷移を伴って,世界における長時間の人間の動きを再現する新しい枠組みを提案する。 このような長時間の動作は、モーション生成やモーション理解といった応用には非常に有用であるが、急激なショット遷移、部分閉塞、そしてそのようなビデオで提示される動的背景により、回復することが非常に困難である。 既存の方法は、主に単一カメラビュー内で連続性を維持するシングルショットビデオに焦点を当て、カメラ空間内での複数ショットアライメントを単純化する。 本研究では、ショット遷移検出器とロバストなアライメントモジュールを組み込むことにより、カメラのポーズ推定をHuman Motion Recovery (HMR)と統合することで、ショット間の正確なポーズと向きの連続性を実現する。 カスタムモーションインテグレータを利用することで,フットスライディングの問題を効果的に軽減し,人間のポーズにおける時間的一貫性を確保する。 パブリックな3次元人間のデータセットから作成したマルチショットデータセットの大規模な評価は、世界座標における現実的な人間の動きの再構築における我々の手法の堅牢性を示している。

関連論文リスト

• HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos [26.766489527823662]
  HaWoRは、エゴセントリックなビデオから世界座標のハンドモーション再構成のための高忠実度手法である。 正確なカメラ軌道推定を実現するために,適応型エゴセントリックSLAMフレームワークを提案する。 本研究では,HawoRが手動再建と世界フレームカメラの軌跡推定の両面において,最先端の性能を実現することを実証する。
  論文  参考訳（メタデータ） (2025-01-06T12:29:33Z)
• Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
  Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。 提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。 これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
  論文  参考訳（メタデータ） (2024-12-17T12:43:10Z)
• Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera [3.6948631725065355]
  拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。 我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。 我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
  論文  参考訳（メタデータ） (2024-11-15T21:09:40Z)
• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based Motion Refinement [65.08165593201437]
  本研究では,人体と手の動きを同時に推定する単一魚眼カメラを用いて,自我中心型全体モーションキャプチャーを探索する。 この課題は、高品質なデータセットの欠如、魚眼カメラの歪み、人間の身体の自己閉塞など、重大な課題を提起する。 そこで本研究では,魚眼画像の特徴を3次元人体ポーズ予測のための3次元熱マップ表現に変換した魚眼画像の特徴を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-28T07:13:47Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)
• Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
  本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。 提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-04-27T20:01:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。