論文の概要: Optimal-state Dynamics Estimation for Physics-based Human Motion Capture from Videos
- arxiv url: http://arxiv.org/abs/2410.07795v2
- Date: Mon, 28 Oct 2024 09:36:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 14:56:00.896110
- Title: Optimal-state Dynamics Estimation for Physics-based Human Motion Capture from Videos
- Title（参考訳）: 映像からの物理に基づく人体モーションキャプチャの最適状態ダイナミクス推定
- Authors: Cuong Le, Viktor Johansson, Manon Kok, Bastian Wandt,
- Abstract要約: オンライン環境での運動学観測に物理モデルを選択的に組み込む新しい手法を提案する。
リカレントニューラルネットワークを導入し、キネマティックス入力とシミュレートされた動作を熱心にバランスするカルマンフィルタを実現する。
提案手法は,物理に基づく人間のポーズ推定作業に優れ,予測力学の物理的妥当性を示す。
- 参考スコア（独自算出の注目度）: 6.093379844890164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human motion capture from monocular videos has made significant progress in recent years. However, modern approaches often produce temporal artifacts, e.g. in form of jittery motion and struggle to achieve smooth and physically plausible motions. Explicitly integrating physics, in form of internal forces and exterior torques, helps alleviating these artifacts. Current state-of-the-art approaches make use of an automatic PD controller to predict torques and reaction forces in order to re-simulate the input kinematics, i.e. the joint angles of a predefined skeleton. However, due to imperfect physical models, these methods often require simplifying assumptions and extensive preprocessing of the input kinematics to achieve good performance. To this end, we propose a novel method to selectively incorporate the physics models with the kinematics observations in an online setting, inspired by a neural Kalman-filtering approach. We develop a control loop as a meta-PD controller to predict internal joint torques and external reaction forces, followed by a physics-based motion simulation. A recurrent neural network is introduced to realize a Kalman filter that attentively balances the kinematics input and simulated motion, resulting in an optimal-state dynamics prediction. We show that this filtering step is crucial to provide an online supervision that helps balancing the shortcoming of the respective input motions, thus being important for not only capturing accurate global motion trajectories but also producing physically plausible human poses. The proposed approach excels in the physics-based human pose estimation task and demonstrates the physical plausibility of the predictive dynamics, compared to state of the art. The code is available on https://github.com/cuongle1206/OSDCap
- Abstract（参考訳）: モノクラービデオからの人間のモーションキャプチャーは近年大きな進歩を遂げている。
しかし、現代のアプローチは時相的アーティファクト(例えばジッタリー運動)を生み出し、滑らかで物理的に可塑性な運動を達成するのに苦労する。
内部の力と外周のトルクという形で物理を統合することは、これらの人工物を軽減するのに役立ちます。
現在の最先端のアプローチでは、自動PDコントローラを使用して、入力キネマティクス、すなわち予め定義された骨格の関節角を再現するためにトルクと反応力を予測している。
しかし、不完全な物理モデルのため、これらの手法は良い性能を達成するために、仮定の単純化と入力キネマティクスの広範な前処理を必要とすることが多い。
そこで本研究では,ニューラルカルマンフィルタ法に着想を得て,物理モデルとキネマティックス観測をオンライン環境で選択的に統合する手法を提案する。
内部の関節トルクと外部の反応力を予測するメタPDコントローラとして制御ループを開発し,それに続いて物理に基づく運動シミュレーションを行った。
リカレントニューラルネットワークを導入し、キネマティックス入力とシミュレートされた動作を熱心にバランスさせるカルマンフィルタを実現し、最適状態ダイナミクス予測を実現する。
このフィルタリングのステップは,各入力動作の欠点のバランスをとる上で重要なものであり,正確なグローバルな動き軌跡を捉えるだけでなく,物理的にもっともらしい人間のポーズを生成する上でも重要であることを示す。
提案手法は, 物理に基づく人間のポーズ推定作業に優れ, 予測力学の物理的妥当性を, 最先端技術と比較して実証する。
コードはhttps://github.com/cuongle1206/OSDCapで入手できる。
関連論文リスト
- Learning Physics From Video: Unsupervised Physical Parameter Estimation for Continuous Dynamical Systems [49.11170948406405]
ビデオからの自動パラメータ推定の最先端は、大規模データセット上で教師付きディープネットワークをトレーニングすることによって解決される。
単一ビデオから, 既知, 連続制御方程式の物理パラメータを推定する手法を提案する。
論文 参考訳（メタデータ） (2024-10-02T09:44:54Z) - Physics-Guided Human Motion Capture with Pose Probability Modeling [35.159506668475565]
既存の解は常にキネマティックな結果を参照運動として採用し、物理は後処理モジュールとして扱われる。
本研究では,逆拡散過程における物理法則を用いて,モデル化されたポーズ確率分布から人間の動きを再構成する。
数回の反復で、物理に基づく追跡とキネマティック・デノゲーションは互いに促進し、物理的に妥当な人間の動きを生成する。
論文 参考訳（メタデータ） (2023-08-19T05:28:03Z) - Skeleton2Humanoid: Animating Simulated Characters for
Physically-plausible Motion In-betweening [59.88594294676711]
現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。
テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。
挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
論文 参考訳（メタデータ） (2022-10-09T16:15:34Z) - D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。
私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
論文 参考訳（メタデータ） (2022-09-19T06:51:02Z) - Trajectory Optimization for Physics-Based Reconstruction of 3d Human
Pose from Monocular Video [31.96672354594643]
本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。
物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。
提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
論文 参考訳（メタデータ） (2022-05-24T18:02:49Z) - Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。
モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
論文 参考訳（メタデータ） (2022-05-24T17:58:37Z) - Neural MoCon: Neural Motion Control for Physically Plausible Human
Motion Capture [12.631678059354593]
我々は、高精度で微分不可能な物理シミュレータを利用して、モーションキャプチャーに動的制約を組み込む。
我々のキーイデアは、実際の物理的な監督を利用して、サンプリングベースのモーションコントロールの前にターゲットのポーズ分布をトレーニングすることです。
その結果, 複雑な地形相互作用, 人体形状の変化, 多様な行動を伴う身体的可視な人体運動が得られた。
論文 参考訳（メタデータ） (2022-03-26T12:48:41Z) - Investigating Pose Representations and Motion Contexts Modeling for 3D
Motion Prediction [63.62263239934777]
歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。
本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。
AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-30T10:45:22Z) - Generating Smooth Pose Sequences for Diverse Human Motion Prediction [90.45823619796674]
本稿では,多様な動作予測と制御可能な動作予測のための統合された深部生成ネットワークを提案する。
標準ベンチマークデータセットであるHuman3.6MとHumanEva-Iの2つの実験は、我々のアプローチがサンプルの多様性と精度の両方において最先端のベースラインより優れていることを示した。
論文 参考訳（メタデータ） (2021-08-19T00:58:00Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳（メタデータ） (2020-07-22T21:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。