論文の概要: Recovering Trajectories of Unmarked Joints in 3D Human Actions Using
Latent Space Optimization
- arxiv url: http://arxiv.org/abs/2012.02043v1
- Date: Thu, 3 Dec 2020 16:25:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 15:06:41.954575
- Title: Recovering Trajectories of Unmarked Joints in 3D Human Actions Using
Latent Space Optimization
- Title(参考訳): 潜在空間最適化を用いた3次元人行動における無印関節軌跡の復元
- Authors: Suhas Lohit, Rushil Anirudh, Pavan Turaga
- Abstract要約: モーションキャプチャ(モキャップ)と飛行時間に基づく人間の行動の検知は、ロバストな活動分析を行うために、ますます人気が高まっている。
しかし、可視性、エラーの追跡、マーカーの設定を便利に保つ必要性など、両方のモダリティにはいくつかの実践的な課題がある。
本稿では,非マーク付き関節データの再構成を不備な線形逆問題として扱う。
モカプデータセットとKinectデータセットの両方の実験により、提案手法が行方不明な関節の動作や運動のセマンティクスを回復するのに非常に有効であることを明らかにした。
- 参考スコア(独自算出の注目度): 16.914342116747825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motion capture (mocap) and time-of-flight based sensing of human actions are
becoming increasingly popular modalities to perform robust activity analysis.
Applications range from action recognition to quantifying movement quality for
health applications. While marker-less motion capture has made great progress,
in critical applications such as healthcare, marker-based systems, especially
active markers, are still considered gold-standard. However, there are several
practical challenges in both modalities such as visibility, tracking errors,
and simply the need to keep marker setup convenient wherein movements are
recorded with a reduced marker-set. This implies that certain joint locations
will not even be marked-up, making downstream analysis of full body movement
challenging. To address this gap, we first pose the problem of reconstructing
the unmarked joint data as an ill-posed linear inverse problem. We recover
missing joints for a given action by projecting it onto the manifold of human
actions, this is achieved by optimizing the latent space representation of a
deep autoencoder. Experiments on both mocap and Kinect datasets clearly
demonstrate that the proposed method performs very well in recovering semantics
of the actions and dynamics of missing joints. We will release all the code and
models publicly.
- Abstract(参考訳): モーションキャプチャ(モキャップ)と飛行時間に基づく人間の行動の検知は、ロバストな活動分析を行うために人気が高まっている。
アプリケーションは、行動認識から健康アプリケーションにおける運動品質の定量化まで幅広い。
マーカーレスモーションキャプチャーは大きな進歩を遂げているが、医療などの重要な分野では、マーカーベースのシステム、特にアクティブマーカーはゴールドスタンダードとみなされている。
しかしながら、可視性、追跡エラー、単にマーカー設定を便利に維持する必要性など、両方のモダリティにはいくつかの実用的な課題がある。
これは、特定の関節位置がマークアップされないことを意味するため、全身運動の下流解析は困難である。
このギャップに対処するために,まず,符号なしのジョイントデータを不適切な線形逆問題として再構成する問題を提案する。
我々は、人間の行動の多様体に投影することで、与えられた行動に対して欠落した関節を復元し、深層オートエンコーダの潜伏空間表現を最適化することで達成する。
mocap と kinect のデータセットでの実験により、提案手法が関節の動作と動態のセマンティクスを回復するのに非常に有効であることが明確に示されている。
すべてのコードとモデルを公開します。
関連論文リスト
- A Locality-based Neural Solver for Optical Motion Capture [37.28597049192196]
ノイズの多いマーカーデータから、マーカーと関節を異なるタイプのノードとして扱う異種グラフニューラルネットワークを提案する。
本手法は,隠蔽マーカー位置誤差の予測精度の観点から,最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-09-01T12:40:17Z) - Auxiliary Tasks Benefit 3D Skeleton-based Human Motion Prediction [106.06256351200068]
本稿では,補助的なタスクを伴うモデル学習フレームワークを提案する。
補助作業では、部分体関節の座標はマスキングまたはノイズ付加によって損なわれる。
本稿では,不完全かつ破損した動作データを処理できる新しい補助適応変換器を提案する。
論文 参考訳(メタデータ) (2023-08-17T12:26:11Z) - Occluded Human Body Capture with Self-Supervised Spatial-Temporal Motion
Prior [7.157324258813676]
私たちは、トレーニングとテストの両方に使用できる最初の3Dクローズドモーションデータセット(OcMotion)を構築します。
次に、空間時間層は、関節レベルの相関を学習するために設計される。
実験結果から,提案手法は,映像から高精度で一貫性のある人間の動きを生成できることが示唆された。
論文 参考訳(メタデータ) (2022-07-12T08:15:11Z) - Contact-Aware Retargeting of Skinned Motion [49.71236739408685]
本稿では,自己接触を保存し,相互接続を防止する動作推定手法を提案する。
入力運動における自己接触と接地を同定し、出力骨格に適用するための動作を最適化する。
実験では,従来の手法を定量的に上回り,近年の成果よりも高い品質で再ターゲットされた動きを評価できるユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-09-15T17:05:02Z) - Occlusion-robust Visual Markerless Bone Tracking for Computer-Assisted
Orthopaedic Surgery [41.681134859412246]
閉塞に対して頑健なRGB-Dセンサを用いたマーカーレストラッキング手法を提案する。
高品質な商用RGB-Dカメラを用いて,モデル膝の1-2デグレスと2-4mmの精度を実現する。
論文 参考訳(メタデータ) (2021-08-24T09:49:08Z) - Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and
Contrastive Meta-Learning [51.03781020616402]
現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。
そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。
粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
論文 参考訳(メタデータ) (2021-08-15T02:21:01Z) - Improving Robustness and Accuracy via Relative Information Encoding in
3D Human Pose Estimation [59.94032196768748]
位置および時間的拡張表現を出力する相対情報符号化法を提案する。
提案手法は2つの公開データセット上で最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-07-29T14:12:19Z) - ChallenCap: Monocular 3D Capture of Challenging Human Performances using
Multi-Modal References [18.327101908143113]
今回提案するChallenCapは、単一のRGBカメラで難しい3D人間の動きをキャプチャするテンプレートベースのアプローチです。
我々は,マルチモーダル参照を用いた新しい学習・最適化フレームワークを採用する。
我々の新しい挑戦運動データセットの実験は、挑戦する人間の動きを捉えるアプローチの有効性と堅牢性を示している。
論文 参考訳(メタデータ) (2021-03-11T15:49:22Z) - Self-supervised Human Detection and Segmentation via Multi-view
Consensus [116.92405645348185]
本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。
本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
論文 参考訳(メタデータ) (2020-12-09T15:47:21Z) - Human Leg Motion Tracking by Fusing IMUs and RGB Camera Data Using
Extended Kalman Filter [4.189643331553922]
IMUベースのシステムとMarkerベースのモーショントラッキングシステムは、実装コストが低く軽量であるため、ムーブメントを追跡する最も一般的な方法である。
本稿では、カメラマーカーシステムデータと融合したIMUセンサデータを用いて、四元数に基づく拡張カルマンフィルタを用いて、人間の足のセグメントの動きを復元する手法を提案する。
論文 参考訳(メタデータ) (2020-11-01T17:54:53Z) - Pose And Joint-Aware Action Recognition [87.4780883700755]
本稿では,まず,共有動作エンコーダを用いて各関節の動作特徴を別々に抽出する,関節に基づく動作認識の新しいモデルを提案する。
私たちのジョイントセレクタモジュールは、そのタスクの最も識別性の高いジョイントを選択するために、ジョイント情報を再重み付けします。
JHMDB, HMDB, Charades, AVA アクション認識データセットにおける最先端のジョイントベースアプローチに対する大きな改善点を示す。
論文 参考訳(メタデータ) (2020-10-16T04:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。