論文の概要: Lifting 2D Human Pose to 3D with Domain Adapted 3D Body Concept

• arxiv url: http://arxiv.org/abs/2111.11969v1
• Date: Tue, 23 Nov 2021 16:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 15:23:01.609764
• Title: Lifting 2D Human Pose to 3D with Domain Adapted 3D Body Concept
• Title（参考訳）: ドメイン適応型3Dボディコンセプトによる2次元人物の3D化
• Authors: Qiang Nie, Ziwei Liu, Yunhui Liu
• Abstract要約: 既存の3Dポーズ推定は,1)2Dデータと3Dデータとのあいまいさ,2)よくラベル付けされた2D-3Dポーズペアの欠如に悩まされている。 本研究では,人体の3次元概念を学習するためにラベル付き3次元ポーズを利用する新しい枠組みを提案する。 2つのドメインに適応することにより、3Dポーズから学んだ身体知識を2Dポーズに適用し、2Dポーズエンコーダを誘導し、ポーズリフトに埋め込まれた情報的な3D"想像"を生成する。
• 参考スコア（独自算出の注目度）: 49.49032810966848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifting the 2D human pose to the 3D pose is an important yet challenging task. Existing 3D pose estimation suffers from 1) the inherent ambiguity between the 2D and 3D data, and 2) the lack of well labeled 2D-3D pose pairs in the wild. Human beings are able to imagine the human 3D pose from a 2D image or a set of 2D body key-points with the least ambiguity, which should be attributed to the prior knowledge of the human body that we have acquired in our mind. Inspired by this, we propose a new framework that leverages the labeled 3D human poses to learn a 3D concept of the human body to reduce the ambiguity. To have consensus on the body concept from 2D pose, our key insight is to treat the 2D human pose and the 3D human pose as two different domains. By adapting the two domains, the body knowledge learned from 3D poses is applied to 2D poses and guides the 2D pose encoder to generate informative 3D "imagination" as embedding in pose lifting. Benefiting from the domain adaptation perspective, the proposed framework unifies the supervised and semi-supervised 3D pose estimation in a principled framework. Extensive experiments demonstrate that the proposed approach can achieve state-of-the-art performance on standard benchmarks. More importantly, it is validated that the explicitly learned 3D body concept effectively alleviates the 2D-3D ambiguity in 2D pose lifting, improves the generalization, and enables the network to exploit the abundant unlabeled 2D data.
• Abstract（参考訳）: 人間の2Dポーズを3Dポーズにリフティングすることは重要な課題である。 既存の3dポーズ推定に苦しむ 1) 2次元データと3次元データの固有の曖昧性,及び 2) 野生では2D-3Dのポーズペアが不足していた。 人間は2D画像や2Dボディキーポイントのセットから人間の3Dポーズを想像することができる。 そこで本研究では,3次元ポーズを用いて人体の3次元概念を学習し,曖昧さを軽減する新しい枠組みを提案する。 身体概念を2Dポーズから理解するために、我々の重要な洞察は2D人間のポーズと3D人間のポーズを2つの異なるドメインとして扱うことである。 2つのドメインに適応することにより、3Dポーズから学んだ身体知識を2Dポーズに適用し、2Dポーズエンコーダを誘導し、ポーズリフトに埋め込まれた情報的な3D"想像"を生成する。 ドメイン適応の観点から、提案フレームワークは、原則付きフレームワークにおける教師付きおよび半教師付き3Dポーズ推定を統一する。 広範な実験により、提案手法が標準ベンチマークで最先端のパフォーマンスを達成できることが示されている。 さらに、明示的に学習された3Dボディの概念は、2Dポーズリフトにおける2D-3Dの曖昧さを効果的に軽減し、一般化を改善し、ネットワークが豊富なラベルのない2Dデータを活用できるようにする。

関連論文リスト

• MPL: Lifting 3D Human Pose from Multi-view 2D Poses [75.26416079541723]
  本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。 実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
  論文  参考訳（メタデータ） (2024-08-20T12:55:14Z)
• Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing [54.29207348918216]
  Cloth2Bodyは、入力の部分的な観察と出力の多様性によって引き起こされる新しい課題に対処する必要がある。 本稿では,2次元衣料品画像のポーズと形状によってパラメータ化された3Dボディメッシュを高精度に推定できるエンドツーエンドフレームワークを提案する。 実験結果から示されるように,提案手法は最先端の性能を実現し,自然および多様な3Dボディメッシュを2次元画像から効果的に回収することができる。
  論文  参考訳（メタデータ） (2023-09-28T06:18:38Z)
• MPM: A Unified 2D-3D Human Pose Representation via Masked Pose Modeling [59.74064212110042]
  mpmcanは、3D人間のポーズ推定、クラッドされた2Dポーズからの3Dポーズ推定、3Dポーズ完了をtextocbsingleフレームワークで処理する。 MPI-INF-3DHPにおいて、広く使われているポーズデータセットの広範な実験とアブレーション研究を行い、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-29T10:30:00Z)
• Weakly-supervised Pre-training for 3D Human Pose Estimation via Perspective Knowledge [36.65402869749077]
  本研究では,3次元ポーズを監督せずに2次元画像から直接弱い3次元情報を抽出する手法を提案する。 画像中の2点間の深度関係を識別するために,弱教師付き事前学習(WSP)戦略を提案する。 WSPは2つの広く使用されているベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-11-22T03:35:15Z)
• SPGNet: Spatial Projection Guided 3D Human Pose Estimation in Low Dimensional Space [14.81199315166042]
  本研究では,多次元再投影と教師あり学習を混合した3次元人間のポーズ推定手法を提案する。 提案手法は,データセットHuman3.6Mの推定結果に基づいて,定性的にも定量的にも,多くの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-06-04T00:51:00Z)
• 3DCrowdNet: 2D Human Pose-Guided3D Crowd Human Pose and Shape Estimation in the Wild [61.92656990496212]
  3DCrowdNetは、2D人間のポーズガイド3D群衆ポーズと形状推定システムです。 我々の3DCrowdNetは、これまでのクラウドシーンの手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-15T08:21:28Z)
• Deep Monocular 3D Human Pose Estimation via Cascaded Dimension-Lifting [10.336146336350811]
  1枚の画像からの3次元ポーズ推定は、深さの曖昧さのために難しい問題である。 従来の手法の1つのタイプは、外部の2Dポーズ検出器に頼って得られた2D関節を3D空間に持ち上げる。 文脈情報を利用しながら、3D空間で直接出力する,新たなエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-08T05:44:02Z)
• Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement [63.853412753242615]
  優れた3次元ポーズ表現を学習することは、人間のポーズ関連タスクにとって重要である。 本稿では,3次元ポーズ表現を学習するために,新しいシームズ・デノナイズドオートエンコーダを提案する。 提案手法は,2つの本質的に異なるタスクに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-14T14:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。