論文の概要: Differentiable Dynamics for Articulated 3d Human Motion Reconstruction
- arxiv url: http://arxiv.org/abs/2205.12256v1
- Date: Tue, 24 May 2022 17:58:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 15:16:05.646546
- Title: Differentiable Dynamics for Articulated 3d Human Motion Reconstruction
- Title（参考訳）: 人工3次元運動再建のための微分力学
- Authors: Erik G\"artner, Mykhaylo Andriluka, Erwin Coumans, Cristian
Sminchisescu
- Abstract要約: DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。
モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
- 参考スコア（独自算出の注目度）: 29.683633237503116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce DiffPhy, a differentiable physics-based model for articulated 3d
human motion reconstruction from video. Applications of physics-based reasoning
in human motion analysis have so far been limited, both by the complexity of
constructing adequate physical models of articulated human motion, and by the
formidable challenges of performing stable and efficient inference with physics
in the loop. We jointly address such modeling and inference challenges by
proposing an approach that combines a physically plausible body representation
with anatomical joint limits, a differentiable physics simulator, and
optimization techniques that ensure good performance and robustness to
suboptimal local optima. In contrast to several recent methods, our approach
readily supports full-body contact including interactions with objects in the
scene. Most importantly, our model connects end-to-end with images, thus
supporting direct gradient-based physics optimization by means of image-based
loss functions. We validate the model by demonstrating that it can accurately
reconstruct physically plausible 3d human motion from monocular video, both on
public benchmarks with available 3d ground-truth, and on videos from the
internet.
- Abstract（参考訳）: DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。
人間の運動分析における物理学に基づく推論の応用は、人間の運動の適切な物理モデルを構築する複雑さや、ループ内の物理学による安定かつ効率的な推論を行うという恐ろしい課題によって制限されてきた。
我々は, 物理的に妥当な身体表現と解剖学的関節限界, 微分可能な物理シミュレータ, 局所視能に対して良好な性能とロバスト性を保証する最適化技術を組み合わせたアプローチを提案することで, モデリングと推論の課題を共同で解決する。
近年の手法とは対照的に,本手法はシーン内の物体との相互作用を含む全身接触を容易にサポートしている。
最も重要な点は,エンド・ツー・エンドとイメージを接続し,画像に基づく損失関数による直接勾配に基づく物理最適化をサポートすることである。
そこで本研究では,3dグランドルースを持つ公開ベンチマークとインターネットのビデオの両方において,モノクロビデオから物理的に妥当な3d人間の動きを正確に再現できることを実証し,そのモデルを検証する。
関連論文リスト
- PhysMotion: Physics-Grounded Dynamics From a Single Image [24.096925413047217]
物理シミュレーションの原理を取り入れた新しいフレームワークであるPhysMotionを導入し,1つの画像から生成された中間3次元表現をガイドする。
我々のアプローチは、従来のデータ駆動生成モデルの限界に対処し、より一貫した物理的に妥当な動きをもたらす。
論文 参考訳（メタデータ） (2024-11-26T07:59:11Z) - Learned Neural Physics Simulation for Articulated 3D Human Pose Reconstruction [30.51621591645056]
本稿では,接触を伴う人間の関節運動の力学をモデル化するための新しいニューラルネットワーク手法であるLARPを提案する。
私たちのニューラルアーキテクチャは、従来の物理シミュレータで一般的に見られる機能をサポートします。
LARPの価値を実証するために、既存のビデオベース再構成フレームワークにおける古典的非微分可能シミュレータの状態のドロップイン代替として使用します。
論文 参考訳（メタデータ） (2024-10-15T19:42:45Z) - MultiPhys: Multi-Person Physics-aware 3D Motion Estimation [28.91813849219037]
モノクロビデオから多人数動作を復元する手法であるMultiPhysを紹介する。
私たちの焦点は、様々なエンゲージメントの度合いで、ペアの個人間のコヒーレントな空間配置をキャプチャすることにあります。
本研究では,運動量に基づく運動を物理シミュレーターに自動回帰的に供給するパイプラインを考案する。
論文 参考訳（メタデータ） (2024-04-18T08:29:29Z) - Skeleton2Humanoid: Animating Simulated Characters for
Physically-plausible Motion In-betweening [59.88594294676711]
現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。
テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。
挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
論文 参考訳（メタデータ） (2022-10-09T16:15:34Z) - D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。
私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
論文 参考訳（メタデータ） (2022-09-19T06:51:02Z) - Trajectory Optimization for Physics-Based Reconstruction of 3d Human
Pose from Monocular Video [31.96672354594643]
本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。
物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。
提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
論文 参考訳（メタデータ） (2022-05-24T18:02:49Z) - Dynamic Visual Reasoning by Learning Differentiable Physics Models from
Video and Language [92.7638697243969]
視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。
これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
論文 参考訳（メタデータ） (2021-10-28T17:59:13Z) - Physics-based Human Motion Estimation and Synthesis from Videos [0.0]
単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。
提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。
その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
論文 参考訳（メタデータ） (2021-09-21T01:57:54Z) - Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。
次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。
これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
論文 参考訳（メタデータ） (2021-07-27T14:30:33Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳（メタデータ） (2020-07-22T21:09:11Z) - Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。
この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
論文 参考訳（メタデータ） (2020-04-30T19:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。