論文の概要: Weakly-supervised Pre-training for 3D Human Pose Estimation via Perspective Knowledge

• arxiv url: http://arxiv.org/abs/2211.11983v1
• Date: Tue, 22 Nov 2022 03:35:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 17:52:30.659996
• Title: Weakly-supervised Pre-training for 3D Human Pose Estimation via Perspective Knowledge
• Title（参考訳）: 視点知識を用いた3次元ポーズ推定のための弱教師付き事前学習
• Authors: Zhongwei Qiu, Kai Qiu, Jianlong Fu, Dongmei Fu
• Abstract要約: 本研究では,3次元ポーズを監督せずに2次元画像から直接弱い3次元情報を抽出する手法を提案する。 画像中の2点間の深度関係を識別するために,弱教師付き事前学習(WSP)戦略を提案する。 WSPは2つの広く使用されているベンチマークで最先端の結果を達成する。
• 参考スコア（独自算出の注目度）: 36.65402869749077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep learning-based 3D pose estimation approaches require plenty of 3D pose annotations. However, existing 3D datasets lack diversity, which limits the performance of current methods and their generalization ability. Although existing methods utilize 2D pose annotations to help 3D pose estimation, they mainly focus on extracting 2D structural constraints from 2D poses, ignoring the 3D information hidden in the images. In this paper, we propose a novel method to extract weak 3D information directly from 2D images without 3D pose supervision. Firstly, we utilize 2D pose annotations and perspective prior knowledge to generate the relationship of that keypoint is closer or farther from the camera, called relative depth. We collect a 2D pose dataset (MCPC) and generate relative depth labels. Based on MCPC, we propose a weakly-supervised pre-training (WSP) strategy to distinguish the depth relationship between two points in an image. WSP enables the learning of the relative depth of two keypoints on lots of in-the-wild images, which is more capable of predicting depth and generalization ability for 3D human pose estimation. After fine-tuning on 3D pose datasets, WSP achieves state-of-the-art results on two widely-used benchmarks.
• Abstract（参考訳）: 現代のディープラーニングに基づく3dポーズ推定アプローチは、多くの3dポーズアノテーションを必要とする。 しかし、既存の3Dデータセットには多様性がなく、現在の手法の性能と一般化能力に制限がある。 既存の手法では2Dポーズアノテーションを用いて3Dポーズを推定するが、主に2Dポーズから2D構造的制約を抽出し、画像に隠された3D情報を無視する。 本稿では,3次元ポーズを監督せずに2次元画像から直接弱い3次元情報を抽出する手法を提案する。 まず,2次元ポジショニングアノテーションと視点事前知識を用いて,キーポイントがカメラから近づいたり遠ざかったりする関係を,相対的深さと呼ぶ。 2次元ポーズデータセット(MCPC)を収集し,相対深度ラベルを生成する。 MCPCに基づいて,画像中の2点間の深度関係を識別する弱教師付き事前学習(WSP)戦略を提案する。 WSPは,3次元ポーズ推定の深度と一般化能力の向上を図り,複数の画像上の2つのキーポイントの相対深さの学習を可能にする。 3Dポーズデータセットを微調整した後、WSPは2つの広く使用されているベンチマークで最先端の結果を得る。

関連論文リスト

• MPL: Lifting 3D Human Pose from Multi-view 2D Poses [75.26416079541723]
  本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。 実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
  論文  参考訳（メタデータ） (2024-08-20T12:55:14Z)
• Unsupervised Multi-Person 3D Human Pose Estimation From 2D Poses Alone [4.648549457266638]
  本研究は,教師なし多人数2D-3Dポーズ推定の実現可能性について検討した最初の研究の1つである。 本手法では,各被験者の2次元ポーズを3次元に独立に持ち上げ,それらを共有3次元座標系で組み合わせる。 これにより、ポーズの正確な3D再構成を検索することができる。
  論文  参考訳（メタデータ） (2023-09-26T11:42:56Z)
• MPM: A Unified 2D-3D Human Pose Representation via Masked Pose Modeling [59.74064212110042]
  mpmcanは、3D人間のポーズ推定、クラッドされた2Dポーズからの3Dポーズ推定、3Dポーズ完了をtextocbsingleフレームワークで処理する。 MPI-INF-3DHPにおいて、広く使われているポーズデータセットの広範な実験とアブレーション研究を行い、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-29T10:30:00Z)
• CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by Leveraging In-the-wild 2D Annotations [25.05308239278207]
  一つの画像から3次元のポーズ推定を行うための弱教師付きフレームワークであるCameraPoseを提案する。 カメラパラメータブランチを追加することで、Wildの2Dアノテーションをパイプラインに投入して、トレーニングの多様性を高めることができます。 また、2次元ポーズ推定器によって抽出されたノイズの多い2Dキーポイントの品質をさらに向上させるため、信頼誘導損失を有する改良型ネットワークモジュールも導入する。
  論文  参考訳（メタデータ） (2023-01-08T05:07:41Z)
• Weakly Supervised Learning of Keypoints for 6D Object Pose Estimation [73.40404343241782]
  2次元キーポイント検出に基づく弱教師付き6次元オブジェクトポーズ推定手法を提案する。 提案手法は,最先端の完全教師付きアプローチと同等の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-07T16:23:47Z)
• PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
  本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。 PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。 我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T12:48:48Z)
• ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses [23.554957518485324]
  本研究では、1つの画像から3次元人間のポーズを予測することを学ぶ教師なしのアプローチを提案する。 ランダムなプロジェクションに最も近い3次元ポーズを推定し、2次元ポーズの正規化フローを用いて推定する。 我々は,Human3.6M と MPI-INF-3DHP のベンチマークデータセット上で,最先端の教師なしポーズ推定手法を多くの指標で上回っている。
  論文  参考訳（メタデータ） (2021-12-14T01:12:45Z)
• Lifting 2D Human Pose to 3D with Domain Adapted 3D Body Concept [49.49032810966848]
  既存の3Dポーズ推定は,1)2Dデータと3Dデータとのあいまいさ,2)よくラベル付けされた2D-3Dポーズペアの欠如に悩まされている。 本研究では,人体の3次元概念を学習するためにラベル付き3次元ポーズを利用する新しい枠組みを提案する。 2つのドメインに適応することにより、3Dポーズから学んだ身体知識を2Dポーズに適用し、2Dポーズエンコーダを誘導し、ポーズリフトに埋め込まれた情報的な3D"想像"を生成する。
  論文  参考訳（メタデータ） (2021-11-23T16:02:12Z)
• Weakly-supervised Cross-view 3D Human Pose Estimation [16.045255544594625]
  弱教師付きクロスビュー3次元ポーズ推定のための簡易かつ効果的なパイプラインを提案する。 本手法は,最先端の性能を弱い教師付きで達成することができる。 本手法を標準ベンチマークデータセットHuman3.6Mで評価する。
  論文  参考訳（メタデータ） (2021-05-23T08:16:25Z)
• Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose Estimation [18.103595280706593]
  我々は,CNNによる信頼度の高い2次元ポーズ推定の最近の進歩を活用し,深度画像から人物の3次元ポーズを推定する。 提案手法は2つの公開データセットの精度と速度の両面で非常に競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2020-11-10T10:08:13Z)
• Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A Geometric Approach [76.10879433430466]
  多視点画像と人手足に装着したIMUから3次元人間のポーズを推定する。 まず2つの信号から2Dのポーズを検出し、3D空間に持ち上げる。 単純な2段階のアプローチは、公開データセット上の大きなマージンによる最先端のエラーを低減する。
  論文  参考訳（メタデータ） (2020-03-25T00:26:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。