論文の概要: TEMP3D: Temporally Continuous 3D Human Pose Estimation Under Occlusions
- arxiv url: http://arxiv.org/abs/2312.16221v1
- Date: Sun, 24 Dec 2023 11:05:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 20:28:01.649905
- Title: TEMP3D: Temporally Continuous 3D Human Pose Estimation Under Occlusions
- Title（参考訳）: temp3d: 咬合下の時間連続3次元ポーズ推定
- Authors: Rohit Lal, Yash Garg, Arindam Dutta, Calvin-Khang Ta, Dripta S.
Raychaudhuri, M. Salman Asif, Amit K. Roy-Chowdhury
- Abstract要約: 我々は,既存のSOTA単一画像に基づく3Dポーズ推定手法を用いて,映像中の動き事前モデルを調整したTEMP3Dという教師なし手法を提案する。
我々は,Occluded Human3.6MとOcMotionデータセットのSOTA結果を得た。
- 参考スコア（独自算出の注目度）: 31.658058110920795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing 3D human pose estimation methods perform remarkably well in both
monocular and multi-view settings. However, their efficacy diminishes
significantly in the presence of heavy occlusions, which limits their practical
utility. For video sequences, temporal continuity can help infer accurate
poses, especially in heavily occluded frames. In this paper, we aim to leverage
this potential of temporal continuity through human motion priors, coupled with
large-scale pre-training on 3D poses and self-supervised learning, to enhance
3D pose estimation in a given video sequence. This leads to a temporally
continuous 3D pose estimate on unlabelled in-the-wild videos, which may contain
occlusions, while exclusively relying on pre-trained 3D pose models. We propose
an unsupervised method named TEMP3D that aligns a motion prior model on a given
in-the-wild video using existing SOTA single image-based 3D pose estimation
methods to give temporally continuous output under occlusions. To evaluate our
method, we test it on the Occluded Human3.6M dataset, our custom-built dataset
which contains significantly large (up to 100%) human body occlusions
incorporated into the Human3.6M dataset. We achieve SOTA results on Occluded
Human3.6M and the OcMotion dataset while maintaining competitive performance on
non-occluded data. URL: https://sites.google.com/ucr.edu/temp3d
- Abstract（参考訳）: 既存の3次元ポーズ推定手法は、単眼と多眼の両方で極めてよく機能する。
しかし, 重度咬合の存在下では有効性が著しく低下し, 実用性が制限される。
映像のシーケンスでは、時間的連続性は正確なポーズを推測するのに役立ちます。
本稿では,3次元ポーズの大規模事前学習と自己教師あり学習とを組み合わせることで,人間の動作先頭を通じての時間的連続性の可能性を活用し,与えられた映像列における3次元ポーズ推定の促進を図る。
これは、事前訓練された3Dポーズモデルにのみ依存しながら、オクルージョンを含む可能性のある、未学習のインザワイルドビデオの時間的に連続した3Dポーズ推定につながる。
我々は,既存のSOTA単一画像に基づく3Dポーズ推定手法を用いて,映像中の動き事前モデルを調整し,時間的に連続的な出力を与えるTEMP3Dという教師なしの手法を提案する。
提案手法を評価するため,Occluded Human3.6Mデータセット,Human3.6Mデータセットに組み込まれた人体介在物を大きく(最大100%まで)含むカスタム構築データセットを用いて評価を行った。
occluded human3.6m とocmotion dataset で sota 結果を達成し,非occluded data の競合性能を維持した。
URL: https://sites.google.com/ucr.edu/temp3d
関連論文リスト
- Enhanced Spatio-Temporal Context for Temporally Consistent Robust 3D
Human Motion Recovery from Monocular Videos [5.258814754543826]
本稿では,モノクロ映像からの時間的一貫した動き推定手法を提案する。
汎用的なResNetのような機能を使う代わりに、本手法ではボディ認識機能表現と独立したフレーム単位のポーズを使用する。
提案手法は, 高速化誤差を著しく低減し, 既存の最先端手法よりも優れる。
論文 参考訳（メタデータ） (2023-11-20T10:53:59Z) - Live Stream Temporally Embedded 3D Human Body Pose and Shape Estimation [13.40702053084305]
ライブストリーム映像の精度と時間的整合性を改善するために,時間的に埋め込まれた3次元人体ポーズと形状推定法(TePose)を提案する。
マルチスケールの畳み込みネットワークを,3次元ラベリングを伴わないデータセットを用いた対人訓練のための運動判別器として提示する。
論文 参考訳（メタデータ） (2022-07-25T21:21:59Z) - On Triangulation as a Form of Self-Supervision for 3D Human Pose
Estimation [57.766049538913926]
ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。
最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。
本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
論文 参考訳（メタデータ） (2022-03-29T19:11:54Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z) - Learning Dynamics via Graph Neural Networks for Human Pose Estimation
and Tracking [98.91894395941766]
ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。
具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。
PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
論文 参考訳（メタデータ） (2021-06-07T16:36:50Z) - Self-Attentive 3D Human Pose and Shape Estimation from Videos [82.63503361008607]
3D人間のポーズと形状推定のためのビデオベースの学習アルゴリズムを紹介します。
ビデオの時間情報を利用して自己着脱モジュールを提案する。
本手法を3DPW, MPI-INF-3DHP, Human3.6Mデータセット上で評価した。
論文 参考訳（メタデータ） (2021-03-26T00:02:19Z) - Deep Dual Consecutive Network for Human Pose Estimation [44.41818683253614]
キーポイント検出を容易にするために,ビデオフレーム間の時間的キューを豊富に活用した,新しいマルチフレーム人間ポーズ推定フレームワークを提案する。
本手法は、PoseTrack 2017およびPoseTrack 2018の大規模ベンチマークデータセットにおけるマルチフレームパーソンポースチャレンジチャレンジで1位にランクインします。
論文 参考訳（メタデータ） (2021-03-12T13:11:27Z) - Multi-Scale Networks for 3D Human Pose Estimation with Inference Stage
Optimization [33.02708860641971]
モノクロビデオから3Dのポーズを推定することは、まだまだ難しい課題だ。
既存の多くのメソッドは、対象の人が他のオブジェクトに干渉されたり、トレーニングデータのスケールや速度に対して動きが速すぎたり、遅くなったりすると低下する。
頑健な3次元ポーズ推定のための時間的ネットワークを提案する。
論文 参考訳（メタデータ） (2020-10-13T15:24:28Z) - Kinematic-Structure-Preserved Representation for Unsupervised 3D Human
Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。
本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。
提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文 参考訳（メタデータ） (2020-06-24T23:56:33Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳（メタデータ） (2020-04-09T07:55:01Z) - 3D Human Pose Estimation using Spatio-Temporal Networks with Explicit
Occlusion Training [40.933783830017035]
近年の大きな進歩にもかかわらず、モノラルなタスクから3Dのポーズを推定することは依然として難しい課題である。
頑健な3次元ポーズ推定のための時間的ビデオネットワークを提案する。
本研究では,各フレームに2次元関節やキーポイントの予測,および3次元関節やキーポイントを推定するために,多段階の時間的畳み込みネットワーク(TCN)を適用した。
論文 参考訳（メタデータ） (2020-04-07T09:12:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。