論文の概要: Towards Single Camera Human 3D-Kinematics
- arxiv url: http://arxiv.org/abs/2301.05435v1
- Date: Fri, 13 Jan 2023 08:44:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 14:43:51.769988
- Title: Towards Single Camera Human 3D-Kinematics
- Title（参考訳）: シングルカメラヒューマン3Dキネマティクスを目指して
- Authors: Marian Bittner, Wei-Tse Yang, Xucong Zhang, Ajay Seth, Jan van Gemert
and Frans C. T. van der Helm
- Abstract要約: 深層ニューラルネットワークを用いたビデオから直接3次元人体動推定D3KEを提案する。
実験により,提案したエンドツーエンドトレーニングは頑健であり,2次元および3次元マーカーレスモーションキャプチャに基づく運動推定パイプラインよりも優れていた。
- 参考スコア（独自算出の注目度）: 15.559206592078425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Markerless estimation of 3D Kinematics has the great potential to clinically
diagnose and monitor movement disorders without referrals to expensive motion
capture labs; however, current approaches are limited by performing multiple
de-coupled steps to estimate the kinematics of a person from videos. Most
current techniques work in a multi-step approach by first detecting the pose of
the body and then fitting a musculoskeletal model to the data for accurate
kinematic estimation. Errors in training data of the pose detection algorithms,
model scaling, as well the requirement of multiple cameras limit the use of
these techniques in a clinical setting. Our goal is to pave the way toward
fast, easily applicable and accurate 3D kinematic estimation \xdeleted{in a
clinical setting}. To this end, we propose a novel approach for direct 3D human
kinematic estimation D3KE from videos using deep neural networks. Our
experiments demonstrate that the proposed end-to-end training is robust and
outperforms 2D and 3D markerless motion capture based kinematic estimation
pipelines in terms of joint angles error by a large margin (35\% from 5.44 to
3.54 degrees). We show that D3KE is superior to the multi-step approach and can
run at video framerate speeds. This technology shows the potential for clinical
analysis from mobile devices in the future.
- Abstract（参考訳）: 3dキネマティクスのマーカーレス推定は、高価なモーションキャプチャラボへの紹介なしに、運動障害を臨床的に診断し監視する大きな可能性を持っているが、ビデオから人のキネマティクスを推定するために複数の非結合ステップを行うことで、現在のアプローチは制限されている。
現在の手法のほとんどは、まず身体の姿勢を検出し、その後、正確な運動学的推定のためのデータに筋骨格モデルを適用することで、多段階のアプローチで機能する。
ポーズ検出アルゴリズムのトレーニングデータの誤り、モデルスケーリング、および複数のカメラの要件は、臨床現場でのこれらのテクニックの使用を制限する。
我々のゴールは、素早く、容易に適用でき、正確な3Dキネマティック・アセスメントの道を開くことである。
そこで本研究では,深層ニューラルネットワークを用いたビデオから直接3次元人体推定D3KEを提案する。
実験により,提案するエンドツーエンドトレーニングは頑健であり,関節角度誤差(5.44度から3.54度)の点で2次元および3次元マーカーレスモーションキャプチャに基づく運動量推定パイプラインを上回った。
d3keはマルチステップ方式よりも優れており,ビデオフレームレートで動作可能である。
この技術は将来モバイルデバイスからの臨床分析の可能性を示している。
関連論文リスト
- 3D Kinematics Estimation from Video with a Biomechanical Model and
Synthetic Training Data [4.130944152992895]
2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。
実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-02-20T17:33:40Z) - HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。
頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。
HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-12-27T22:35:33Z) - Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。
コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。
特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
論文 参考訳（メタデータ） (2023-01-12T18:01:28Z) - MotionBERT: A Unified Perspective on Learning Human Motion
Representations [46.67364057245364]
本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。
本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。
動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
論文 参考訳（メタデータ） (2022-10-12T19:46:25Z) - Supervised learning for improving the accuracy of robot-mounted 3D
camera applied to human gait analysis [0.31171750528972203]
歩行分析における3Dカメラの使用は、過去に実証された低い精度のため、非常に疑問視されている。
3Dカメラは、より長い歩行距離を得るために移動ロボットに搭載された。
本研究は,カメラの生推定を後処理することで,運動歩行信号と歩行記述子の検出の改善を示す。
論文 参考訳（メタデータ） (2022-07-03T10:35:18Z) - AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs
in the Wild [51.35013619649463]
我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。
データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。
また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
論文 参考訳（メタデータ） (2021-03-24T15:54:11Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳（メタデータ） (2020-07-22T21:09:11Z) - Kinematic 3D Object Detection in Monocular Video [123.7119180923524]
運動運動を注意深く利用して3次元位置決めの精度を向上させるモノクロ映像を用いた3次元物体検出法を提案する。
我々は、KITTI自動運転データセット内のモノクロ3次元物体検出とバードアイビュータスクの最先端性能を達成する。
論文 参考訳（メタデータ） (2020-07-19T01:15:12Z) - Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space
Multi-Person Video Motion Capture in the Wild [3.0015034534260665]
マルチカメラの精度と滑らかさを考慮したマーカーレスモーションキャプチャ手法を提案する。
提案手法は,各人物の3Dポーズを予測し,マルチカメラ画像のバウンディングボックスを決定する。
提案手法を,様々なデータセットと実スポーツフィールドを用いて評価した。
論文 参考訳（メタデータ） (2020-01-16T02:14:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。