論文の概要: MPL: Lifting 3D Human Pose from Multi-view 2D Poses

• arxiv url: http://arxiv.org/abs/2408.10805v1
• Date: Tue, 20 Aug 2024 12:55:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 13:45:16.777123
• Title: MPL: Lifting 3D Human Pose from Multi-view 2D Poses
• Title（参考訳）: MPL:多視点2D画像から3D人物をリフティングする
• Authors: Seyed Abolfazl Ghasemzadeh, Alexandre Alahi, Christophe De Vleeschouwer,
• Abstract要約: 本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。 実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
• 参考スコア（独自算出の注目度）: 75.26416079541723
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Estimating 3D human poses from 2D images is challenging due to occlusions and projective acquisition. Learning-based approaches have been largely studied to address this challenge, both in single and multi-view setups. These solutions however fail to generalize to real-world cases due to the lack of (multi-view) 'in-the-wild' images paired with 3D poses for training. For this reason, we propose combining 2D pose estimation, for which large and rich training datasets exist, and 2D-to-3D pose lifting, using a transformer-based network that can be trained from synthetic 2D-3D pose pairs. Our experiments demonstrate decreases up to 45% in MPJPE errors compared to the 3D pose obtained by triangulating the 2D poses. The framework's source code is available at https://github.com/aghasemzadeh/OpenMPL .
• Abstract（参考訳）: 2次元画像から3次元人間のポーズを推定することは、隠蔽と投影的獲得によって困難である。 学習ベースのアプローチは、シングルおよびマルチビューのセットアップの両方において、この問題に対処するために主に研究されている。 しかし、これらのソリューションは、トレーニングのために3Dポーズと組み合わせた(マルチビューの)"in-the-wild"イメージが欠如しているために、現実のケースに一般化することができない。 そこで本稿では,大規模で豊富なトレーニングデータセットを持つ2Dポーズ推定と,合成2D-3Dポーズペアからトレーニング可能なトランスフォーマーネットワークを用いた2D-to-3Dポーズリフトを提案する。 実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。 フレームワークのソースコードはhttps://github.com/aghasemzadeh/OpenMPL で公開されている。

関連論文リスト

• MPM: A Unified 2D-3D Human Pose Representation via Masked Pose Modeling [59.74064212110042]
  mpmcanは、3D人間のポーズ推定、クラッドされた2Dポーズからの3Dポーズ推定、3Dポーズ完了をtextocbsingleフレームワークで処理する。 MPI-INF-3DHPにおいて、広く使われているポーズデータセットの広範な実験とアブレーション研究を行い、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-29T10:30:00Z)
• VirtualPose: Learning Generalizable 3D Human Pose Models from Virtual Data [69.64723752430244]
  このタスクに特有の隠れた「フリーランチ」を活用するための2段階学習フレームワークであるVirtualPoseを紹介する。 1段目は画像を抽象幾何学表現(AGR)に変換し、2段目はそれらを3Dポーズにマッピングする。 1)第1段は多様な2次元データセットでトレーニングし、限られた外観への過度な適合のリスクを軽減し、2)多数の仮想カメラとポーズから合成された多様なAGRでトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-07-20T14:47:28Z)
• Lifting 2D Human Pose to 3D with Domain Adapted 3D Body Concept [49.49032810966848]
  既存の3Dポーズ推定は,1)2Dデータと3Dデータとのあいまいさ,2)よくラベル付けされた2D-3Dポーズペアの欠如に悩まされている。 本研究では,人体の3次元概念を学習するためにラベル付き3次元ポーズを利用する新しい枠組みを提案する。 2つのドメインに適応することにより、3Dポーズから学んだ身体知識を2Dポーズに適用し、2Dポーズエンコーダを誘導し、ポーズリフトに埋め込まれた情報的な3D"想像"を生成する。
  論文  参考訳（メタデータ） (2021-11-23T16:02:12Z)
• Shape-aware Multi-Person Pose Estimation from Multi-View Images [47.13919147134315]
  提案した粗大なパイプラインは、まず複数のカメラビューからノイズの多い2次元の観測結果を3次元空間に集約する。 最終的なポーズ推定は、高信頼度多視点2次元観測と3次元関節候補をリンクする新しい最適化スキームから得られる。
  論文  参考訳（メタデータ） (2021-10-05T20:04:21Z)
• SVMA: A GAN-based model for Monocular 3D Human Pose Estimation [0.8379286663107844]
  1枚の画像から抽出した2次元関節位置から3次元人間のポーズを復元するための教師なしGANモデルを提案する。 再投射制約を考慮すると,本モデルはカメラを推定し,推定された3次元ポーズを元の2次元ポーズに再投射することができる。 Human3.6Mの結果,本手法は最先端の手法を全て上回り,MPI-INF-3DHPの手法は最先端の手法を約15.0%上回ることがわかった。
  論文  参考訳（メタデータ） (2021-06-10T09:43:57Z)
• TriPose: A Weakly-Supervised 3D Human Pose Estimation via Triangulation from Video [23.00696619207748]
  ビデオから3D人間のポーズを推定することは難しい問題です。 3Dヒューマンポーズアノテーションの欠如は、教師付きトレーニングと、見えないデータセットへの一般化の大きな障害です。 3dアノテーションやキャリブレーションカメラを必要としない弱い教師付きトレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-14T00:46:48Z)
• VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Environment [80.77351380961264]
  複数のカメラビューから複数の人の3Dポーズを推定する手法を提案する。 本稿では,3D空間で動作するエンドツーエンドのソリューションを提案する。 本稿では,各提案の詳細な3次元ポーズを推定するために,Pose Regression Network (PRN)を提案する。
  論文  参考訳（メタデータ） (2020-04-13T23:50:01Z)
• Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A Geometric Approach [76.10879433430466]
  多視点画像と人手足に装着したIMUから3次元人間のポーズを推定する。 まず2つの信号から2Dのポーズを検出し、3D空間に持ち上げる。 単純な2段階のアプローチは、公開データセット上の大きなマージンによる最先端のエラーを低減する。
  論文  参考訳（メタデータ） (2020-03-25T00:26:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。