論文の概要: PACE: Human and Camera Motion Estimation from in-the-wild Videos

• arxiv url: http://arxiv.org/abs/2310.13768v1
• Date: Fri, 20 Oct 2023 19:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 05:27:20.836860
• Title: PACE: Human and Camera Motion Estimation from in-the-wild Videos
• Title（参考訳）: PACE:Wildビデオからの人間とカメラのモーション推定
• Authors: Muhammed Kocabas, Ye Yuan, Pavlo Molchanov, Yunrong Guo, Michael J. Black, Otmar Hilliges, Jan Kautz, Umar Iqbal
• Abstract要約: 本研究では,移動カメラのグローバルシーンにおける人間の動きを推定する手法を提案する。 これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。 本研究では,人体とカメラの動作を前景の人体と背景の両方の特徴を用いてアンハングリングする共同最適化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 113.76041632912577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method to estimate human motion in a global scene from moving cameras. This is a highly challenging task due to the coupling of human and camera motions in the video. To address this problem, we propose a joint optimization framework that disentangles human and camera motions using both foreground human motion priors and background scene features. Unlike existing methods that use SLAM as initialization, we propose to tightly integrate SLAM and human motion priors in an optimization that is inspired by bundle adjustment. Specifically, we optimize human and camera motions to match both the observed human pose and scene features. This design combines the strengths of SLAM and motion priors, which leads to significant improvements in human and camera motion estimation. We additionally introduce a motion prior that is suitable for batch optimization, making our approach significantly more efficient than existing approaches. Finally, we propose a novel synthetic dataset that enables evaluating camera motion in addition to human motion from dynamic videos. Experiments on the synthetic and real-world RICH datasets demonstrate that our approach substantially outperforms prior art in recovering both human and camera motions.
• Abstract（参考訳）: 移動カメラから全球シーンにおける人間の動きを推定する手法を提案する。 これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。 この問題に対処するために,前景の人間の動きと背景のシーン特徴の両方を用いて,人間とカメラの動きをアンハングリングする共同最適化フレームワークを提案する。 SLAMを初期化として使用する既存の方法とは異なり、バンドル調整にインスパイアされた最適化において、SLAMと人間の動作先を密に統合することを提案する。 具体的には、観察された人間のポーズとシーンの特徴に合うように、人間とカメラの動作を最適化する。 この設計はSLAMとモーション先行の強度を組み合わせることで、人間とカメラのモーション推定を大幅に改善する。 さらに、バッチ最適化に適したモーションプリファレンスを導入し、既存のアプローチよりもはるかに効率的にしています。 最後に,動的ビデオからの人間の動きに加えて,カメラの動きを評価する新しい合成データセットを提案する。 合成データと実世界のリッチデータセットの実験は、人間の動きとカメラの動きの両方を復元する先行技術を大きく上回っていることを示している。

関連論文リスト

• Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera [3.6948631725065355]
  拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。 我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。 我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
  論文  参考訳（メタデータ） (2024-11-15T21:09:40Z)
• COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
  COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。 COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-29T10:36:29Z)
• PACE: Data-Driven Virtual Agent Interaction in Dense and Cluttered Environments [69.03289331433874]
  PACEは,高密度で散らばった3Dシーン全体と対話し,移動するために,モーションキャプチャーされた仮想エージェントを改良する新しい手法である。 本手法では,環境中の障害物や物体に適応するために,仮想エージェントの動作シーケンスを必要に応じて変更する。 提案手法を先行動作生成技術と比較し,本手法の利点を知覚的研究と身体的妥当性の指標と比較した。
  論文  参考訳（メタデータ） (2023-03-24T19:49:08Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)
• Physics-based Human Motion Estimation and Synthesis from Videos [0.0]
  単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。 提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。 その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-09-21T01:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。