論文の概要: Motion Guided 3D Pose Estimation from Videos
- arxiv url: http://arxiv.org/abs/2004.13985v1
- Date: Wed, 29 Apr 2020 06:59:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 14:11:58.119076
- Title: Motion Guided 3D Pose Estimation from Videos
- Title(参考訳): 映像からの3次元姿勢推定
- Authors: Jingbo Wang, Sijie Yan, Yuanjun Xiong, Dahua Lin
- Abstract要約: 本研究では,2次元ポーズから1次元の人物ポーズ推定を行う問題に対して,運動損失と呼ばれる新たな損失関数を提案する。
運動損失の計算では、ペアワイズ・モーション・エンコーディング(ペアワイズ・モーション・エンコーディング)と呼ばれる単純なキーポイント・モーションの表現が導入された。
UGCN(U-shaped GCN)と呼ばれる新しいグラフ畳み込みネットワークアーキテクチャを設計し,短期および長期の動作情報の両方をキャプチャする。
- 参考スコア(独自算出の注目度): 81.14443206968444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new loss function, called motion loss, for the problem of
monocular 3D Human pose estimation from 2D pose. In computing motion loss, a
simple yet effective representation for keypoint motion, called pairwise motion
encoding, is introduced. We design a new graph convolutional network
architecture, U-shaped GCN (UGCN). It captures both short-term and long-term
motion information to fully leverage the additional supervision from the motion
loss. We experiment training UGCN with the motion loss on two large scale
benchmarks: Human3.6M and MPI-INF-3DHP. Our model surpasses other
state-of-the-art models by a large margin. It also demonstrates strong capacity
in producing smooth 3D sequences and recovering keypoint motion.
- Abstract(参考訳): 2次元ポーズからの単眼的3次元ポーズ推定問題に対する運動損失と呼ばれる新しい損失関数を提案する。
動き損失の計算では、ペアワイズモーションエンコーディングと呼ばれる、単純かつ効果的なキーポイントモーションの表現が導入される。
我々は新しいグラフ畳み込みネットワークアーキテクチャ、UGCN(U-shaped GCN)を設計する。
短期および長期の動作情報をキャプチャして、運動損失から追加の監視をフル活用する。
大規模ベンチマークであるHuman3.6MとMPI-INF-3DHPでUGCNの運動損失をトレーニングした。
我々のモデルは、他の最先端モデルを大きく上回っている。
また、スムーズな3Dシーケンスの生成とキーポイント運動の回復に強い能力を示す。
関連論文リスト
- DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-03-09T12:22:46Z) - Co-Evolution of Pose and Mesh for 3D Human Body Estimation from Video [23.93644678238666]
ビデオから3次元の人間の動きを復元するPose and Mesh Co-Evolution Network (PMCE)を提案する。
提案したPMCEは、フレーム単位の精度と時間的一貫性の両方の観点から、従来の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-08-20T16:03:21Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳(メタデータ) (2023-08-18T16:41:57Z) - MotionBERT: A Unified Perspective on Learning Human Motion
Representations [46.67364057245364]
本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。
本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。
動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
論文 参考訳(メタデータ) (2022-10-12T19:46:25Z) - 3D Skeleton-based Human Motion Prediction with Manifold-Aware GAN [3.1313293632309827]
本研究では,3次元骨格を用いた人体動作予測の新しい手法を提案する。
我々は,人間の運動の時間的および空間的依存を捉える,多様体を意識したワッサーシュタイン生成逆数モデルを構築した。
CMU MoCapとHuman 3.6Mデータセットで実験が行われた。
論文 参考訳(メタデータ) (2022-03-01T20:49:13Z) - MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。
モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
論文 参考訳(メタデータ) (2021-12-19T07:52:05Z) - Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。
人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。
様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
論文 参考訳(メタデータ) (2021-05-03T17:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。