論文の概要: Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera

• arxiv url: http://arxiv.org/abs/2411.10582v1
• Date: Fri, 15 Nov 2024 21:09:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:35.821777
• Title: Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera
• Title（参考訳）: ダイナミックカメラによる運動拡散誘導型3次元大域HMR
• Authors: Jaewoo Heo, Kuan-Chieh Wang, Karen Liu, Serena Yeung-Levy,
• Abstract要約: 拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。 我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。 我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
• 参考スコア（独自算出の注目度）: 3.6948631725065355
• License:
• Abstract: Motion capture technologies have transformed numerous fields, from the film and gaming industries to sports science and healthcare, by providing a tool to capture and analyze human movement in great detail. The holy grail in the topic of monocular global human mesh and motion reconstruction (GHMR) is to achieve accuracy on par with traditional multi-view capture on any monocular videos captured with a dynamic camera, in-the-wild. This is a challenging task as the monocular input has inherent depth ambiguity, and the moving camera adds additional complexity as the rendered human motion is now a product of both human and camera movement. Not accounting for this confusion, existing GHMR methods often output motions that are unrealistic, e.g. unaccounted root translation of the human causes foot sliding. We present DiffOpt, a novel 3D global HMR method using Diffusion Optimization. Our key insight is that recent advances in human motion generation, such as the motion diffusion model (MDM), contain a strong prior of coherent human motion. The core of our method is to optimize the initial motion reconstruction using the MDM prior. This step can lead to more globally coherent human motion. Our optimization jointly optimizes the motion prior loss and reprojection loss to correctly disentangle the human and camera motions. We validate DiffOpt with video sequences from the Electromagnetic Database of Global 3D Human Pose and Shape in the Wild (EMDB) and Egobody, and demonstrate superior global human motion recovery capability over other state-of-the-art global HMR methods most prominently in long video settings.
• Abstract（参考訳）: モーションキャプチャ技術は、映画やゲーム産業からスポーツ科学、医療に至るまで、人間の動きを詳細に捉え分析するツールを提供することによって、多くの分野を変革してきた。 モノクラー・グローバル・メッシュとモーション・リコンストラクション(GHMR)というトピックの聖杯は、ダイナミック・カメラで撮影したモノクラー・ビデオの伝統的なマルチビュー・キャプチャーと同等の精度を実現することだ。 モノクラー入力の深度があいまいであることや、人間の動きが人間の動きとカメラの動きの両方の産物になるため、移動カメラはさらなる複雑さを増すため、これは難しい課題である。 この混乱を考慮せずに、既存のGHMR法は、しばしば非現実的な動きを出力する。 拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。 我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。 本手法のコアは,MDMを用いた初期動作再構成を最適化することである。 このステップは、よりグローバルなコヒーレントな人間の動きにつながる可能性がある。 我々の最適化は、人やカメラの動きを正しく切り離すために、前向きの損失と再投射損失を共同で最適化する。 我々はDiffOptをEMDB(Electronic Database of Global 3D Human Pose and Shape in the Wild)とEgobody(Egobody)の動画シーケンスで検証し、他の最先端のグローバルHMR法よりも優れたグローバル・ヒューマン・モーション・リカバリ能力を示す。

関連論文リスト

• COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
  COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。 COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-29T10:36:29Z)
• TRAM: Global Trajectory and Motion of 3D Humans from in-the-wild Videos [46.11545135199594]
  TRAMはSLAMを強固にし、ダイナミックな人間の存在下でカメラの動きを回復させる。 人間の運動運動を抑えるためのビデオトランスモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-26T03:10:45Z)
• PACE: Human and Camera Motion Estimation from in-the-wild Videos [113.76041632912577]
  本研究では,移動カメラのグローバルシーンにおける人間の動きを推定する手法を提案する。 これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。 本研究では,人体とカメラの動作を前景の人体と背景の両方の特徴を用いてアンハングリングする共同最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T19:04:14Z)
• DiffMesh: A Motion-aware Diffusion Framework for Human Mesh Recovery from Videos [20.895221536570627]
  ヒューマンメッシュリカバリ(Human Mesh recovery, HMR)は、さまざまな現実世界のアプリケーションに対して、リッチな人体情報を提供する。 ビデオベースのアプローチはこの問題を緩和するために時間的情報を活用する。 DiffMeshはビデオベースのHMRのための革新的な動き認識型拡散型フレームワークである。
  論文  参考訳（メタデータ） (2023-03-23T16:15:18Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
  本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。 私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
  論文  参考訳（メタデータ） (2022-09-19T06:51:02Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)
• Learning Motion Priors for 4D Human Body Capture in 3D Scenes [81.54377747405812]
  LEMO: LEMO: LEARING Human Motion priors for 4D human body capture。 提案手法では, 連続して復元されたポーズによって現れるジッタを減少させる新規な動きを事前に導入する。 また, 接触摩擦項と, 物体ごとの自己監督訓練により得られる接触認識運動充填剤を設計した。 パイプラインでは、高品質な4D人体撮影、スムーズな動きの再構築、身体とシーンの相互作用を実演しています。
  論文  参考訳（メタデータ） (2021-08-23T20:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。