論文の概要: PhysPT: Physics-aware Pretrained Transformer for Estimating Human Dynamics from Monocular Videos

• arxiv url: http://arxiv.org/abs/2404.04430v1
• Date: Fri, 5 Apr 2024 22:07:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 21:18:18.372964
• Title: PhysPT: Physics-aware Pretrained Transformer for Estimating Human Dynamics from Monocular Videos
• Title（参考訳）: PhysPT:モノクロビデオから人間のダイナミクスを推定するための物理対応事前学習トランス
• Authors: Yufei Zhang, Jeffrey O. Kephart, Zijun Cui, Qiang Ji,
• Abstract要約: 本稿では、運動量に基づく運動推定を改善し、運動力を推定する物理対応事前学習変換器(PhysPT)を提案する。 PhysPTはTransformerエンコーダ/デコーダのバックボーンを利用して、自己管理的な方法で人間のダイナミクスを効果的に学習する。
• 参考スコア（独自算出の注目度）: 29.784542628690794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While current methods have shown promising progress on estimating 3D human motion from monocular videos, their motion estimates are often physically unrealistic because they mainly consider kinematics. In this paper, we introduce Physics-aware Pretrained Transformer (PhysPT), which improves kinematics-based motion estimates and infers motion forces. PhysPT exploits a Transformer encoder-decoder backbone to effectively learn human dynamics in a self-supervised manner. Moreover, it incorporates physics principles governing human motion. Specifically, we build a physics-based body representation and contact force model. We leverage them to impose novel physics-inspired training losses (i.e., force loss, contact loss, and Euler-Lagrange loss), enabling PhysPT to capture physical properties of the human body and the forces it experiences. Experiments demonstrate that, once trained, PhysPT can be directly applied to kinematics-based estimates to significantly enhance their physical plausibility and generate favourable motion forces. Furthermore, we show that these physically meaningful quantities translate into improved accuracy of an important downstream task: human action recognition.
• Abstract（参考訳）: 現在の方法では、モノクロビデオから3次元の人間の動きを推定する上で有望な進歩が見られるが、運動推定は主に運動学を考えるため、物理的に非現実的であることが多い。 本稿では、運動量に基づく運動推定を改善し、運動力を推定する物理対応事前学習変換器(PhysPT)を提案する。 PhysPTはTransformerエンコーダ/デコーダのバックボーンを利用して、自己管理的な方法で人間のダイナミクスを効果的に学習する。 さらに、人間の動きを司る物理学の原則も取り入れている。 具体的には,物理に基づく身体表現と接触力モデルを構築した。 我々はこれらを利用して、新しい物理学にインスパイアされたトレーニング損失(すなわち、力損失、接触損失、オイラーラグランジュ損失)を課し、PhysPTが人体とそれが経験する力の物理的特性を捉えることを可能にする。 実験により、一度訓練されたPhysPTは、運動学に基づく推定に直接適用でき、身体的可視性を著しく向上し、良好な運動力を生み出すことが示されている。 さらに、これらの物理的に意味のある量によって、人間の行動認識という重要な下流タスクの精度が向上することを示す。

関連論文リスト

• Optimal-state Dynamics Estimation for Physics-based Human Motion Capture from Videos [6.093379844890164]
  オンライン環境での運動学観測に物理モデルを選択的に組み込む新しい手法を提案する。 リカレントニューラルネットワークを導入し、キネマティックス入力とシミュレートされた動作を熱心にバランスするカルマンフィルタを実現する。 提案手法は,物理に基づく人間のポーズ推定作業に優れ,予測力学の物理的妥当性を示す。
  論文  参考訳（メタデータ） (2024-10-10T10:24:59Z)
• Physics-Guided Human Motion Capture with Pose Probability Modeling [35.159506668475565]
  既存の解は常にキネマティックな結果を参照運動として採用し、物理は後処理モジュールとして扱われる。 本研究では,逆拡散過程における物理法則を用いて,モデル化されたポーズ確率分布から人間の動きを再構成する。 数回の反復で、物理に基づく追跡とキネマティック・デノゲーションは互いに促進し、物理的に妥当な人間の動きを生成する。
  論文  参考訳（メタデータ） (2023-08-19T05:28:03Z)
• Skeleton2Humanoid: Animating Simulated Characters for Physically-plausible Motion In-betweening [59.88594294676711]
  現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。 テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。 挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2022-10-09T16:15:34Z)
• D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
  本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。 私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
  論文  参考訳（メタデータ） (2022-09-19T06:51:02Z)
• Trajectory Optimization for Physics-Based Reconstruction of 3d Human Pose from Monocular Video [31.96672354594643]
  本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。 物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。 提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-24T18:02:49Z)
• Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language [92.7638697243969]
  視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。 これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
  論文  参考訳（メタデータ） (2021-10-28T17:59:13Z)
• PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time [89.68248627276955]
  シングルカラーカメラからのマーカレス3Dモーションキャプチャは、大きな進歩を遂げた。 しかし、これは非常に困難な問題であり、深刻な問題である。 我々はPhysCapについて紹介する。PhysCapは物理的に可塑性でリアルタイムでマーカーのない人間の3Dモーションキャプチャのための最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2020-08-20T10:46:32Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)
• Use the Force, Luke! Learning to Predict Physical Forces by Simulating Effects [79.351446087227]
  物体と相互作用する人間の映像から接触点と物理的力の推測の問題に対処する。 具体的には、シミュレーションを用いて効果を予測し、推定された力がビデオに描かれたものと同じ効果をもたらすことを強制する。
  論文  参考訳（メタデータ） (2020-03-26T17:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。