論文の概要: Physics-based Human Motion Estimation and Synthesis from Videos
- arxiv url: http://arxiv.org/abs/2109.09913v1
- Date: Tue, 21 Sep 2021 01:57:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-22 14:20:14.627359
- Title: Physics-based Human Motion Estimation and Synthesis from Videos
- Title(参考訳): 物理に基づく人間の動き推定とビデオからの合成
- Authors: Kevin Xie (1 and 2), Tingwu Wang (1 and 2), Umar Iqbal (2), Yunrong
Guo (2), Sanja Fidler (1 and 2), Florian Shkurti (1) ((1) University of
Toronto, (2) Nvidia)
- Abstract要約: 単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。
提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。
その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human motion synthesis is an important problem with applications in graphics,
gaming and simulation environments for robotics. Existing methods require
accurate motion capture data for training, which is costly to obtain. Instead,
we propose a framework for training generative models of physically plausible
human motion directly from monocular RGB videos, which are much more widely
available. At the core of our method is a novel optimization formulation that
corrects imperfect image-based pose estimations by enforcing physics
constraints and reasons about contacts in a differentiable way. This
optimization yields corrected 3D poses and motions, as well as their
corresponding contact forces. Results show that our physically-corrected
motions significantly outperform prior work on pose estimation. We can then use
these to train a generative model to synthesize future motion. We demonstrate
both qualitatively and quantitatively significantly improved motion estimation,
synthesis quality and physical plausibility achieved by our method on the large
scale Human3.6m dataset \cite{h36m_pami} as compared to prior kinematic and
physics-based methods. By enabling learning of motion synthesis from video, our
method paves the way for large-scale, realistic and diverse motion synthesis.
- Abstract(参考訳): 人間の動き合成は、ロボット工学のグラフィックス、ゲーム、シミュレーション環境において重要な問題である。
既存の方法では、トレーニングのために正確なモーションキャプチャーデータが必要です。
代わりに,より広く利用可能である単眼型rgbビデオから直接,物理的に妥当な人間の運動の生成モデルを学習するためのフレームワークを提案する。
提案手法の核心は,物理的な制約や接触理由を微分可能な方法で強制することにより,不完全な画像に基づくポーズ推定を補正する新しい最適化定式化である。
この最適化により、修正された3Dポーズと動き、および対応する接触力が得られる。
その結果,身体的修正動作はポーズ推定の先行作業よりも有意に優れていた。
これを使って生成モデルを訓練し、将来の動きを合成できます。
我々は,従来の運動学および物理学に基づく手法と比較して,大規模Human3.6mデータセットの定性的および定量的に向上した動き推定,合成品質,物理的妥当性を実証した。
映像から動き合成の学習を可能にすることで, 大規模, 現実的, 多様な動き合成への道を開く。
関連論文リスト
- PACE: Human and Camera Motion Estimation from in-the-wild Videos [113.76041632912577]
本研究では,移動カメラのグローバルシーンにおける人間の動きを推定する手法を提案する。
これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。
本研究では,人体とカメラの動作を前景の人体と背景の両方の特徴を用いてアンハングリングする共同最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-20T19:04:14Z) - DROP: Dynamics Responses from Human Motion Prior and Projective Dynamics [21.00283279991885]
DROPは、生成的mOtionと射影力学を用いた人間のダイナミクス応答をモデリングするための新しいフレームワークである。
様々な動作タスクや様々な物理的摂動にまたがってモデルを広範囲に評価し、応答のスケーラビリティと多様性を実証する。
論文 参考訳(メタデータ) (2023-09-24T20:25:59Z) - PACE: Data-Driven Virtual Agent Interaction in Dense and Cluttered
Environments [69.03289331433874]
PACEは,高密度で散らばった3Dシーン全体と対話し,移動するために,モーションキャプチャーされた仮想エージェントを改良する新しい手法である。
本手法では,環境中の障害物や物体に適応するために,仮想エージェントの動作シーケンスを必要に応じて変更する。
提案手法を先行動作生成技術と比較し,本手法の利点を知覚的研究と身体的妥当性の指標と比較した。
論文 参考訳(メタデータ) (2023-03-24T19:49:08Z) - MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。
本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。
文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
論文 参考訳(メタデータ) (2022-12-08T18:59:48Z) - Skeleton2Humanoid: Animating Simulated Characters for
Physically-plausible Motion In-betweening [59.88594294676711]
現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。
テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。
挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
論文 参考訳(メタデータ) (2022-10-09T16:15:34Z) - Trajectory Optimization for Physics-Based Reconstruction of 3d Human
Pose from Monocular Video [31.96672354594643]
本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。
物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。
提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
論文 参考訳(メタデータ) (2022-05-24T18:02:49Z) - Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。
モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
論文 参考訳(メタデータ) (2022-05-24T17:58:37Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳(メタデータ) (2021-11-01T15:32:51Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳(メタデータ) (2020-07-22T21:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。