論文の概要: Platypose: Calibrated Zero-Shot Multi-Hypothesis 3D Human Motion Estimation

• arxiv url: http://arxiv.org/abs/2403.06164v2
• Date: Fri, 27 Sep 2024 12:08:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 04:10:35.379534
• Title: Platypose: Calibrated Zero-Shot Multi-Hypothesis 3D Human Motion Estimation
• Title（参考訳）: プラティフィケーション: ゼロショット型マルチハイポセシス3次元人体運動推定
• Authors: Paweł A. Pierzchlewicz, Caio O. da Silva, R. James Cotton, Fabian H. Sinz,
• Abstract要約: Platyposeは、ゼロショット3Dポーズシーケンス推定のために、人間の3Dモーションシーケンスに事前訓練された拡散モデルを使用するフレームワークである。 Platyposeは、Human3.6M、MPI-INF-3DHP、および3DPWの静的ポーズでテストした場合、最先端のキャリブレーションと競合するジョイントエラーを実現する。
• 参考スコア（独自算出の注目度）: 6.061037203796638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single camera 3D pose estimation is an ill-defined problem due to inherent ambiguities from depth, occlusion or keypoint noise. Multi-hypothesis pose estimation accounts for this uncertainty by providing multiple 3D poses consistent with the 2D measurements. Current research has predominantly concentrated on generating multiple hypotheses for single frame static pose estimation or single hypothesis motion estimation. In this study we focus on the new task of multi-hypothesis motion estimation. Multi-hypothesis motion estimation is not simply multi-hypothesis pose estimation applied to multiple frames, which would ignore temporal correlation across frames. Instead, it requires distributions which are capable of generating temporally consistent samples, which is significantly more challenging than multi-hypothesis pose estimation or single-hypothesis motion estimation. To this end, we introduce Platypose, a framework that uses a diffusion model pretrained on 3D human motion sequences for zero-shot 3D pose sequence estimation. Platypose outperforms baseline methods on multiple hypotheses for motion estimation. Additionally, Platypose also achieves state-of-the-art calibration and competitive joint error when tested on static poses from Human3.6M, MPI-INF-3DHP and 3DPW. Finally, because it is zero-shot, our method generalizes flexibly to different settings such as multi-camera inference.
• Abstract（参考訳）: 単一カメラの3Dポーズ推定は、奥行き、隠蔽、キーポイントノイズによる固有の曖昧さによる不明確な問題である。 マルチハイポテーシスは、この不確実性を推定し、複数の3次元ポーズを2次元計測と整合して提供する。 現在の研究は、単一フレームの静的ポーズ推定や単一仮説の動作推定のために複数の仮説を生成することに主に集中している。 本研究では,多仮説運動推定の新しい課題に焦点をあてる。 多相運動推定は、単に複数のフレームに適用された多相ポーズ推定ではなく、フレーム間の時間的相関を無視する。 代わりに、時間的に一貫したサンプルを生成することができる分布が必要であり、これは多仮説のポーズ推定や単一仮説のモーション推定よりもはるかに困難である。 この目的のために,ゼロショット3次元ポーズ列推定のための3次元モーションシーケンスを事前訓練した拡散モデルを用いたフレームワークであるPlatyposeを紹介する。 運動推定のための複数の仮説に基づくベースライン法の性能向上 さらにPlatyposeは、Human3.6M、MPI-INF-3DHP、および3DPWの静的ポーズでテストした場合、最先端のキャリブレーションと競合するジョイントエラーも達成している。 最後に、ゼロショットであるため、マルチカメラ推論などの異なる設定に柔軟に一般化する。

関連論文リスト

• Diffusion-based Pose Refinement and Muti-hypothesis Generation for 3D Human Pose Estimaiton [27.708016152889787]
  従来の3次元人物姿勢推定モデル(3DHPE)は、複数の仮説を生成することで、ポーズの精度を高めることを目的としていた。 ほとんどの仮説は真のポーズから大きく逸脱した。 決定論的モデルと比較すると、確率論的モデルにおける過剰な不確実性は、単一仮説予測においてより弱い性能をもたらす。 本稿では,逆拡散による決定論的モデルの出力を改良する拡散に基づく DRPose というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-10T04:07:50Z)
• ManiPose: Manifold-Constrained Multi-Hypothesis 3D Human Pose Estimation [54.86887812687023]
  ほとんどの3D-HPE法は回帰モデルに依存しており、入力と出力の1対1のマッピングを前提としている。 提案するManiPoseは,2次元入力毎に複数の候補3次元ポーズを提案可能な,新しい多様体制約型マルチハイポテーシスモデルである。 従来のマルチハイブリッドアプローチとは異なり、我々のソリューションは完全に教師付きであり、複雑な生成モデルに依存しない。
  論文  参考訳（メタデータ） (2023-12-11T13:50:10Z)
• Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggregation [64.874000550443]
  ジョイントワイズ・リジェクション・ベース・マルチハイブリッド・アグリゲーション(JPMA)を用いた拡散型3次元ポス推定法を提案する。 提案したJPMAは,D3DPが生成する複数の仮説を1つの3次元ポーズにまとめて実用的に利用する。 提案手法は, 最先端の決定論的アプローチと確率論的アプローチをそれぞれ1.5%, 8.9%上回った。
  論文  参考訳（メタデータ） (2023-03-21T04:00:47Z)
• DiffPose: Multi-hypothesis Human Pose Estimation using Diffusion models [5.908471365011943]
  与えられた入力画像に対して複数の仮説を予測する条件拡散モデルであるemphDiffPoseを提案する。 DiffPoseは, 簡単なポーズの多面的ポーズを推定し, 極めてあいまいなポーズに対して大きなマージンで優れることを示す。
  論文  参考訳（メタデータ） (2022-11-29T18:55:13Z)
• KinePose: A temporally optimized inverse kinematics technique for 6DOF human pose estimation with biomechanical constraints [11.912058874826549]
  そこで本研究では,生体力学的情報および被験者特異的キネマティック・チェーン全体での関節配向を推定する手法を提案する。 境界条件におけるIKアプローチの一般精度と精度の両方を評価するために,3次元ポーズ動作シーケンスを生成する。 我々の時間的アルゴリズムは,MPJAS(Mean Per Joint Angular separation)誤差の低い6DOFポーズ推定を実現する。
  論文  参考訳（メタデータ） (2022-07-26T12:17:07Z)
• MHFormer: Multi-Hypothesis Transformer for 3D Human Pose Estimation [88.73883883964048]
  モノクロビデオから3D人間のポーズを推定することは、深さのあいまいさと自己排他性のために難しい課題である。 本稿では,複数の確率的ポーズ仮説を表現するために学習する多相変換器(MHFormer)を提案する。 MHFormerは、Human3.6MとMPI-INF-3DHPの2つの挑戦的なデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-24T18:59:02Z)
• Stochastic Modeling for Learnable Human Pose Triangulation [0.7646713951724009]
  本研究では,3次元ポーズ三角測量のためのモデリングフレームワークを提案し,その性能を異なるデータセットと空間カメラアレンジメントで評価する。 提案したポーズ三角測量モデルは、異なるカメラアレンジメントと2つの公開データセット間の一般化に成功している。
  論文  参考訳（メタデータ） (2021-10-01T09:26:25Z)
• Multi-person 3D Pose Estimation in Crowded Scenes Based on Multi-View Geometry [62.29762409558553]
  マルチパーソナライズされた3次元ポーズ推定手法における特徴マッチングと深さ推定のコアは、エピポーラ制約である。 スパサーの群衆シーンにおけるこの定式化の良好なパフォーマンスにもかかわらず、その効果はより密集した群衆の状況下でしばしば挑戦される。 本稿では,マルチパーソン3次元ポーズ推定式から脱却し,群衆ポーズ推定として再編成する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:36Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。