論文の概要: Graph and Temporal Convolutional Networks for 3D Multi-person Pose Estimation in Monocular Videos

• arxiv url: http://arxiv.org/abs/2012.11806v3
• Date: Wed, 7 Apr 2021 06:26:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 07:32:08.352366
• Title: Graph and Temporal Convolutional Networks for 3D Multi-person Pose Estimation in Monocular Videos
• Title（参考訳）: 単眼映像における3次元多人数ポーズ推定のためのグラフおよび時間畳み込みネットワーク
• Authors: Yu Cheng, Bo Wang, Bo Yang, Robby T. Tan
• Abstract要約: 本稿では, グラフ畳み込みネットワーク(GCN)と時間畳み込みネットワーク(TCN)を統合し, カメラ中心のマルチパーソナライズされた3Dポーズを頑健に推定するフレームワークを提案する。 特に,姿勢推定結果を改善するために,2次元ポーズ推定器の信頼度スコアを用いたヒューマンジョイントgcnを提案する。 2つのGCNが連携して空間的なフレーム回りの3Dポーズを推定し、ターゲットフレーム内の可視関節情報と骨情報の両方を使用して、人の一部または欠落した情報を推定します。
• 参考スコア（独自算出の注目度）: 33.974241749058585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent progress, 3D multi-person pose estimation from monocular videos is still challenging due to the commonly encountered problem of missing information caused by occlusion, partially out-of-frame target persons, and inaccurate person detection. To tackle this problem, we propose a novel framework integrating graph convolutional networks (GCNs) and temporal convolutional networks (TCNs) to robustly estimate camera-centric multi-person 3D poses that do not require camera parameters. In particular, we introduce a human-joint GCN, which, unlike the existing GCN, is based on a directed graph that employs the 2D pose estimator's confidence scores to improve the pose estimation results. We also introduce a human-bone GCN, which models the bone connections and provides more information beyond human joints. The two GCNs work together to estimate the spatial frame-wise 3D poses and can make use of both visible joint and bone information in the target frame to estimate the occluded or missing human-part information. To further refine the 3D pose estimation, we use our temporal convolutional networks (TCNs) to enforce the temporal and human-dynamics constraints. We use a joint-TCN to estimate person-centric 3D poses across frames, and propose a velocity-TCN to estimate the speed of 3D joints to ensure the consistency of the 3D pose estimation in consecutive frames. Finally, to estimate the 3D human poses for multiple persons, we propose a root-TCN that estimates camera-centric 3D poses without requiring camera parameters. Quantitative and qualitative evaluations demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 近年の進歩にもかかわらず、隠蔽、部分的には枠外標的人物、不正確な人物検出によって生じる情報不足の問題により、モノクロ映像からの3次元人物ポーズ推定は依然として困難である。 そこで本研究では,GCN(Graph Convolutional Network)とTCN(temporal Convolutional Network)を統合して,カメラパラメータを必要としないカメラ中心の多人数3Dポーズを頑健に推定する手法を提案する。 特に, 既存のgcnとは異なり, 姿勢推定結果を改善するために2次元ポーズ推定器の信頼度スコアを用いた有向グラフに基づく, ヒューマンジョイントgcnを導入する。 また骨結合をモデル化し,ヒト関節以外の情報を提供するヒト骨GCNも導入した。 2つのGCNは、空間的フレームの3Dポーズを推定するために協力し、ターゲットフレーム内の可視関節情報と骨情報の両方を利用して、隠蔽されたまたは行方不明な人体情報を推定する。 3次元ポーズ推定をさらに洗練するために,我々は時間的畳み込みネットワーク(tcns)を用いて,時間的および人間の動的制約を強制する。 連続フレームにおける3Dポーズ推定の整合性を確保するために,関節TCNを用いて人中心の3Dポーズをフレーム間で推定し,速度TCNを用いて3Dジョイントの速度を推定する。 最後に,複数人の3dポーズを推定するために,カメラパラメータを必要とせずにカメラ中心の3dポーズを推定するルートtcnを提案する。 定量的および定性的な評価は,提案手法の有効性を示す。

関連論文リスト

• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• Towards Precise 3D Human Pose Estimation with Multi-Perspective Spatial-Temporal Relational Transformers [28.38686299271394]
  人間のポーズ検出のための3次元シーケンス・ツー・シーケンス(seq2seq)フレームワークを提案する。 まず、空間モジュールは人物のポーズ特徴を画像内コンテンツで表現し、フレーム・イメージ関係モジュールは時間的関係を抽出する。 提案手法は,一般的な3次元ポーズ検出データセットであるHuman3.6Mを用いて評価する。
  論文  参考訳（メタデータ） (2024-01-30T03:00:25Z)
• PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
  本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。 PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。 我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T12:48:48Z)
• Learning Temporal 3D Human Pose Estimation with Pseudo-Labels [3.0954251281114513]
  自己監督型3次元ポーズ推定のための簡易かつ効果的なアプローチを提案する。 我々は、マルチビューカメラシステムの2Dボディポーズ推定を三角測量に頼っている。 提案手法はHuman3.6MとMPI-INF-3DHPベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-10-14T17:40:45Z)
• Learning Dynamical Human-Joint Affinity for 3D Pose Estimation in Videos [47.601288796052714]
  Graph Convolution Network (GCN)は、ビデオにおける3次元人間のポーズ推定に成功している。 新しい動的グラフネットワーク(DGNet)は、ビデオから空間的・時間的関節関係を適応的に学習することにより、3次元のポーズを推定できる。
  論文  参考訳（メタデータ） (2021-09-15T15:06:19Z)
• Self-Attentive 3D Human Pose and Shape Estimation from Videos [82.63503361008607]
  3D人間のポーズと形状推定のためのビデオベースの学習アルゴリズムを紹介します。 ビデオの時間情報を利用して自己着脱モジュールを提案する。 本手法を3DPW, MPI-INF-3DHP, Human3.6Mデータセット上で評価した。
  論文  参考訳（メタデータ） (2021-03-26T00:02:19Z)
• Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose Estimation [18.103595280706593]
  我々は,CNNによる信頼度の高い2次元ポーズ推定の最近の進歩を活用し,深度画像から人物の3次元ポーズを推定する。 提案手法は2つの公開データセットの精度と速度の両面で非常に競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2020-11-10T10:08:13Z)
• Multi-Scale Networks for 3D Human Pose Estimation with Inference Stage Optimization [33.02708860641971]
  モノクロビデオから3Dのポーズを推定することは、まだまだ難しい課題だ。 既存の多くのメソッドは、対象の人が他のオブジェクトに干渉されたり、トレーニングデータのスケールや速度に対して動きが速すぎたり、遅くなったりすると低下する。 頑健な3次元ポーズ推定のための時間的ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T15:24:28Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition [92.99291528676021]
  3次元関節位置を直接回帰するのではなく,骨方向予測と骨長予測に分解する。 私たちのモチベーションは、人間の骨格の骨の長さが時間とともに一定であることにあります。 我々の完全なモデルは、Human3.6MとMPI-INF-3DHPデータセットにおいて、以前の最高の結果よりも優れています。
  論文  参考訳（メタデータ） (2020-02-24T15:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。