論文の概要: 3D Kinematics Estimation from Video with a Biomechanical Model and Synthetic Training Data

• arxiv url: http://arxiv.org/abs/2402.13172v4
• Date: Tue, 5 Mar 2024 12:01:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 00:01:38.030474
• Title: 3D Kinematics Estimation from Video with a Biomechanical Model and Synthetic Training Data
• Title（参考訳）: 生体力学モデルと合成トレーニングデータを用いた映像からの3次元運動量推定
• Authors: Zhi-Yi Lin, Bofan Lyu, Judith Cueto Fernandez, Eline van der Kruk, Ajay Seth, Xucong Zhang
• Abstract要約: 2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。 実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 4.130944152992895
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurate 3D kinematics estimation of human body is crucial in various applications for human health and mobility, such as rehabilitation, injury prevention, and diagnosis, as it helps to understand the biomechanical loading experienced during movement. Conventional marker-based motion capture is expensive in terms of financial investment, time, and the expertise required. Moreover, due to the scarcity of datasets with accurate annotations, existing markerless motion capture methods suffer from challenges including unreliable 2D keypoint detection, limited anatomic accuracy, and low generalization capability. In this work, we propose a novel biomechanics-aware network that directly outputs 3D kinematics from two input views with consideration of biomechanical prior and spatio-temporal information. To train the model, we create synthetic dataset ODAH with accurate kinematics annotations generated by aligning the body mesh from the SMPL-X model and a full-body OpenSim skeletal model. Our extensive experiments demonstrate that the proposed approach, only trained on synthetic data, outperforms previous state-of-the-art methods when evaluated across multiple datasets, revealing a promising direction for enhancing video-based human motion capture
• Abstract（参考訳）: 身体の正確な3次元運動学的推定は、リハビリテーション、傷害予防、診断など、人体の健康とモビリティの様々な応用において不可欠であり、運動中に経験される生体力学的負荷を理解するのに役立つ。 従来のマーカーに基づくモーションキャプチャーは、財務投資、時間、専門知識の点で高価である。 さらに、正確なアノテーションを持つデータセットの不足のため、既存のマーカーレスモーションキャプチャメソッドは、信頼性の低い2dキーポイント検出、限られた解剖学的精度、低い一般化能力といった課題を抱えている。 本研究では,生体力学的事前情報と時空間情報を考慮した2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。 モデルをトレーニングするために,SMPL-XモデルとフルボディOpenSim骨格モデルから体メッシュを整列させて生成した,正確なキネマティクスアノテーションを用いた合成データセットOdaHを作成する。 広範な実験により,提案手法は合成データのみを訓練し,複数のデータセットで評価された場合,従来の最先端手法を上回っており,映像ベースモーションキャプチャ向上に向けた有望な方向性を明らかにした。

関連論文リスト

• OpenCap markerless motion capture estimation of lower extremity kinematics and dynamics in cycling [0.0]
  マーカレスモーションキャプチャは、従来のマーカーベースのシステムよりもいくつかの利点がある。 システムは人体のランドマークを直接検出することができ、手作業による処理やマーカーの配置に伴うエラーを減らすことができる。 本研究では,マーカーレスモーションキャプチャシステムであるOpenCapと,サイクリングバイオメカニクス評価における従来のマーカーベースシステムとの比較を行った。
  論文  参考訳（メタデータ） (2024-08-20T15:57:40Z)
• MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
  筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。 このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。 また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
  論文  参考訳（メタデータ） (2024-04-16T02:18:18Z)
• Human Kinematics-inspired Skeleton-based Video Anomaly Detection [3.261881784285304]
  我々は,HKVAD (Human Kinematic-inspired Video Anomaly Detection) という新しいアイデアを紹介した。 提案手法は,計算資源を最小限に抑え,その有効性と可能性を検証する。
  論文  参考訳（メタデータ） (2023-09-27T13:52:53Z)
• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• Towards Single Camera Human 3D-Kinematics [15.559206592078425]
  深層ニューラルネットワークを用いたビデオから直接3次元人体動推定D3KEを提案する。 実験により,提案したエンドツーエンドトレーニングは頑健であり,2次元および3次元マーカーレスモーションキャプチャに基づく運動推定パイプラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-01-13T08:44:09Z)
• Skeleton2Humanoid: Animating Simulated Characters for Physically-plausible Motion In-betweening [59.88594294676711]
  現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。 テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。 挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2022-10-09T16:15:34Z)
• Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
  DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。 モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-05-24T17:58:37Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)
• Physics-based Human Motion Estimation and Synthesis from Videos [0.0]
  単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。 提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。 その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-09-21T01:57:54Z)
• Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
  本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。 次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。 これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-07-27T14:30:33Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。