論文の概要: Motion Projection Consistency Based 3D Human Pose Estimation with
Virtual Bones from Monocular Videos
- arxiv url: http://arxiv.org/abs/2106.14706v1
- Date: Mon, 28 Jun 2021 13:37:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 18:02:18.954171
- Title: Motion Projection Consistency Based 3D Human Pose Estimation with
Virtual Bones from Monocular Videos
- Title(参考訳): 単眼映像からの仮想骨を用いた3次元人物ポーズ推定に基づく動き投影一貫性
- Authors: Guangming Wang, Honghao Zeng, Ziliang Wang, Zhe Liu, Hesheng Wang
- Abstract要約: 仮想骨の概念は3次元ポーズ推定における累積誤差の問題を解決するために提案される。
本稿では,実際の骨と仮想骨を同時に予測するネットワークを提案する。
ネットワークによって予測される2次元投影位置変位とカメラによるキャプチャされた実2次元変位との整合性は、3次元人間のポーズを学習するための新しい投影整合性損失として提案される。
- 参考スコア(独自算出の注目度): 16.808244226857745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-time 3D human pose estimation is crucial for human-computer interaction.
It is cheap and practical to estimate 3D human pose only from monocular video.
However, recent bone splicing based 3D human pose estimation method brings
about the problem of cumulative error. In this paper, the concept of virtual
bones is proposed to solve such a challenge. The virtual bones are imaginary
bones between non-adjacent joints. They do not exist in reality, but they bring
new loop constraints for the estimation of 3D human joints. The proposed
network in this paper predicts real bones and virtual bones, simultaneously.
The final length of real bones is constrained and learned by the loop
constructed by the predicted real bones and virtual bones. Besides, the motion
constraints of joints in consecutive frames are considered. The consistency
between the 2D projected position displacement predicted by the network and the
captured real 2D displacement by the camera is proposed as a new projection
consistency loss for the learning of 3D human pose. The experiments on the
Human3.6M dataset demonstrate the good performance of the proposed method.
Ablation studies demonstrate the effectiveness of the proposed inter-frame
projection consistency constraints and intra-frame loop constraints.
- Abstract(参考訳): リアルタイム3次元ポーズ推定は人間とコンピュータの相互作用に不可欠である。
単眼映像のみから3d人物のポーズを推定するのは安価で実用的です。
しかし,最近の骨スプライシングに基づく3次元ポーズ推定法は,累積誤差の問題を引き起こす。
本稿では,このような課題を解決するために仮想骨の概念を提案する。
仮想骨は非隣接関節の間の想像上の骨である。
それらは現実には存在していないが、3d人間の関節の推定に新たなループ制約をもたらす。
本稿では,実際の骨と仮想骨を同時に予測するネットワークを提案する。
実際の骨の最終的な長さは、予測された実骨と仮想骨によって構築されたループによって制限され、学習される。
また, 連続フレームにおける関節の運動制約も考慮した。
ネットワークが予測する2次元投影位置変位とカメラが捉えた実2次元変位との一貫性を、3次元人間のポーズの学習における新たな投影一貫性損失として提案する。
human3.6mデータセットにおける実験は、提案手法の優れた性能を示している。
アブレーション研究は,提案するフレーム間プロジェクション一貫性制約とフレーム内ループ制約の有効性を示す。
関連論文リスト
- PoseGraphNet++: Enriching 3D Human Pose with Orientation Estimation [49.17942879643764]
既存の骨格に基づく人間のポーズ推定法は関節位置のみを予測する。
本稿では,PoseGraphNet++という2D-to-3Dリフト型グラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2023-08-22T13:42:15Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳(メタデータ) (2023-08-18T16:41:57Z) - Improving 3D Pose Estimation for Sign Language [38.20064386142944]
この研究は、単一の画像における3次元人間のポーズ復元に対処する。
本稿では,フォワード・キネマティクス(FK)とニューラルネットワークを組み合わせた3次元ポーズの高速かつ有効な予測手法を提案する。
論文 参考訳(メタデータ) (2023-08-18T13:05:10Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳(メタデータ) (2021-11-30T04:10:57Z) - 3D Human Pose Regression using Graph Convolutional Network [68.8204255655161]
本稿では,2次元のポーズから3次元のポーズ回帰を行うために,PoseGraphNetというグラフ畳み込みネットワークを提案する。
我々のモデルの性能は最先端に近いが、パラメータははるかに少ない。
論文 参考訳(メタデータ) (2021-05-21T14:41:31Z) - Graph and Temporal Convolutional Networks for 3D Multi-person Pose
Estimation in Monocular Videos [33.974241749058585]
本稿では, グラフ畳み込みネットワーク(GCN)と時間畳み込みネットワーク(TCN)を統合し, カメラ中心のマルチパーソナライズされた3Dポーズを頑健に推定するフレームワークを提案する。
特に,姿勢推定結果を改善するために,2次元ポーズ推定器の信頼度スコアを用いたヒューマンジョイントgcnを提案する。
2つのGCNが連携して空間的なフレーム回りの3Dポーズを推定し、ターゲットフレーム内の可視関節情報と骨情報の両方を使用して、人の一部または欠落した情報を推定します。
論文 参考訳(メタデータ) (2020-12-22T03:01:19Z) - We are More than Our Joints: Predicting how 3D Bodies Move [63.34072043909123]
我々は、潜時周波数から動きを生成する新しい変分オートエンコーダを訓練する。
実験の結果,本手法は最先端の3Dボディアニメーションとリアルな3Dボディアニメーションを生成することがわかった。
論文 参考訳(メタデータ) (2020-12-01T16:41:04Z) - Multi-Scale Networks for 3D Human Pose Estimation with Inference Stage
Optimization [33.02708860641971]
モノクロビデオから3Dのポーズを推定することは、まだまだ難しい課題だ。
既存の多くのメソッドは、対象の人が他のオブジェクトに干渉されたり、トレーニングデータのスケールや速度に対して動きが速すぎたり、遅くなったりすると低下する。
頑健な3次元ポーズ推定のための時間的ネットワークを提案する。
論文 参考訳(メタデータ) (2020-10-13T15:24:28Z) - Anatomy-aware 3D Human Pose Estimation with Bone-based Pose
Decomposition [92.99291528676021]
3次元関節位置を直接回帰するのではなく,骨方向予測と骨長予測に分解する。
私たちのモチベーションは、人間の骨格の骨の長さが時間とともに一定であることにあります。
我々の完全なモデルは、Human3.6MとMPI-INF-3DHPデータセットにおいて、以前の最高の結果よりも優れています。
論文 参考訳(メタデータ) (2020-02-24T15:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。