論文の概要: 3D Human Pose Estimation Based on 2D-3D Consistency with Synchronized Adversarial Training

• arxiv url: http://arxiv.org/abs/2106.04274v4
• Date: Tue, 5 Mar 2024 10:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-07 04:40:13.309240
• Title: 3D Human Pose Estimation Based on 2D-3D Consistency with Synchronized Adversarial Training
• Title（参考訳）: 同期対人訓練による2D-3D整合性に基づく3次元人物位置推定
• Authors: Yicheng Deng, Cheng Sun, Yongqi Sun, and Jiahui Zhu
• Abstract要約: 本稿では,3次元ポーズから2次元ポーズへの分布のマッピングを学習するために,再投影ネットワークを用いた3次元ポーズ推定のためのGANモデルを提案する。 典型的なキネマティック連鎖空間(KCS)行列に着想を得て、重み付きKCS行列を導入し、関節角度と骨長の制約を課す判別器の入力の1つとする。
• 参考スコア（独自算出の注目度）: 5.306053507202384
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: 3D human pose estimation from a single image is still a challenging problem despite the large amount of work that has been performed in this field. Generally, most methods directly use neural networks and ignore certain constraints (e.g., reprojection constraints, joint angle, and bone length constraints). While a few methods consider these constraints but train the network separately, they cannot effectively solve the depth ambiguity problem. In this paper, we propose a GAN-based model for 3D human pose estimation, in which a reprojection network is employed to learn the mapping of the distribution from 3D poses to 2D poses, and a discriminator is employed for 2D-3D consistency discrimination. We adopt a novel strategy to synchronously train the generator, the reprojection network and the discriminator. Furthermore, inspired by the typical kinematic chain space (KCS) matrix, we introduce a weighted KCS matrix and take it as one of the discriminator's inputs to impose joint angle and bone length constraints. The experimental results on Human3.6M show that our method significantly outperforms state-of-the-art methods in most cases.
• Abstract（参考訳）: 一つの画像から3次元のポーズを推定することは、この分野で行われている膨大な作業にもかかわらず、依然として難しい問題である。 一般的に、ほとんどの手法はニューラルネットワークを直接使用し、特定の制約(例えば、再投射制約、関節角、骨長制約)を無視している。 いくつかの方法はこれらの制約を考慮しながらネットワークを個別に訓練するが、深度あいまいさの問題を効果的に解決することはできない。 本稿では,3次元ポーズから2次元ポーズへの分布のマッピング学習に再投影ネットワークを用いた3次元ポーズ推定のためのGANモデルを提案する。 我々は、ジェネレータ、再投影ネットワーク、判別器を同期的に訓練する新しい戦略を採用する。 さらに, 典型的なキネマティック連鎖空間 (KCS) に着想を得て, 重み付き KCS 行列を導入し, 関節角度と骨長の制約を課す判別器の入力の1つとする。 また,Human3.6Mによる実験結果から,本手法が最先端の手法よりも優れていることが示された。

関連論文リスト

• JOTR: 3D Joint Contrastive Learning with Transformers for Occluded Human Mesh Recovery [84.67823511418334]
  本稿では,3次元メッシュ復元のためのTRansformersフレームワークを用いた3次元ジョイントコントラスト学習について述べる。 提案手法は,2D$&$3D対応結果を得るために,2Dおよび3D表現を融合するエンコーダ・デコーダ変換器アーキテクチャを含む。
  論文  参考訳（メタデータ） (2023-07-31T02:58:58Z)
• DiffuPose: Monocular 3D Human Pose Estimation via Denoising Diffusion Probabilistic Model [25.223801390996435]
  本稿では,1つの2次元キーポイント検出から3次元ポーズを再構築することに焦点を当てた。 我々は,市販の2D検出器から多種多様な3Dポーズを効果的にサンプリングするための,拡散に基づく新しいフレームワークを構築した。 我々は,広く採用されているHuman3.6MとHumanEva-Iデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2022-12-06T07:22:20Z)
• On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation [57.766049538913926]
  ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。 最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。 本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:11:54Z)
• Context Modeling in 3D Human Pose Estimation: A Unified Perspective [27.36648656930247]
  本稿では, PSM と GNN が特殊ケースである文脈モデリングの一般公式を提案する。 両手法を比較して, GNN の終末訓練法と PSM の辺縁長制約が相補的要因であることを確認した。 深いネットワークでソフトな手足長の制約を強制できる注意メカニズムに基づいたContextPoseを提案します。
  論文  参考訳（メタデータ） (2021-03-29T11:26:03Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Multi-Scale Networks for 3D Human Pose Estimation with Inference Stage Optimization [33.02708860641971]
  モノクロビデオから3Dのポーズを推定することは、まだまだ難しい課題だ。 既存の多くのメソッドは、対象の人が他のオブジェクトに干渉されたり、トレーニングデータのスケールや速度に対して動きが速すぎたり、遅くなったりすると低下する。 頑健な3次元ポーズ推定のための時間的ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T15:24:28Z)
• Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation [52.94078950641959]
  マルチパーソン・ヒューマン・ポーズ推定のためのデプロイフレンドリーで高速なボトムアップ・フレームワークを提案する。 我々は,人物の位置を対応する3Dポーズ表現と統一する,多人数の3Dポーズのニューラル表現を採用する。 ペア化された2Dまたは3Dポーズアノテーションが利用できない実用的な配置パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-08-04T07:54:25Z)
• Multi-person 3D Pose Estimation in Crowded Scenes Based on Multi-View Geometry [62.29762409558553]
  マルチパーソナライズされた3次元ポーズ推定手法における特徴マッチングと深さ推定のコアは、エピポーラ制約である。 スパサーの群衆シーンにおけるこの定式化の良好なパフォーマンスにもかかわらず、その効果はより密集した群衆の状況下でしばしば挑戦される。 本稿では,マルチパーソン3次元ポーズ推定式から脱却し,群衆ポーズ推定として再編成する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:36Z)
• 3D Human Pose Estimation using Spatio-Temporal Networks with Explicit Occlusion Training [40.933783830017035]
  近年の大きな進歩にもかかわらず、モノラルなタスクから3Dのポーズを推定することは依然として難しい課題である。 頑健な3次元ポーズ推定のための時間的ビデオネットワークを提案する。 本研究では,各フレームに2次元関節やキーポイントの予測,および3次元関節やキーポイントを推定するために,多段階の時間的畳み込みネットワーク(TCN)を適用した。
  論文  参考訳（メタデータ） (2020-04-07T09:12:12Z)
• Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A Geometric Approach [76.10879433430466]
  多視点画像と人手足に装着したIMUから3次元人間のポーズを推定する。 まず2つの信号から2Dのポーズを検出し、3D空間に持ち上げる。 単純な2段階のアプローチは、公開データセット上の大きなマージンによる最先端のエラーを低減する。
  論文  参考訳（メタデータ） (2020-03-25T00:26:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。