論文の概要: Probabilistic Triangulation for Uncalibrated Multi-View 3D Human Pose
Estimation
- arxiv url: http://arxiv.org/abs/2309.04756v1
- Date: Sat, 9 Sep 2023 11:03:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 16:38:41.476200
- Title: Probabilistic Triangulation for Uncalibrated Multi-View 3D Human Pose
Estimation
- Title(参考訳): マルチビュー3次元ポーズ推定のための確率的三角測量
- Authors: Boyuan Jiang, Lei Hu and Shihong Xia
- Abstract要約: 本稿では,3次元人間のポーズ推定手法に組み込むことができる新しい確率的三角測量モジュールを提案する。
本手法は,推定精度と一般化可能性のトレードオフを実現する。
- 参考スコア(独自算出の注目度): 22.127170452402332
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D human pose estimation has been a long-standing challenge in computer
vision and graphics, where multi-view methods have significantly progressed but
are limited by the tedious calibration processes. Existing multi-view methods
are restricted to fixed camera pose and therefore lack generalization ability.
This paper presents a novel Probabilistic Triangulation module that can be
embedded in a calibrated 3D human pose estimation method, generalizing it to
uncalibration scenes. The key idea is to use a probability distribution to
model the camera pose and iteratively update the distribution from 2D features
instead of using camera pose. Specifically, We maintain a camera pose
distribution and then iteratively update this distribution by computing the
posterior probability of the camera pose through Monte Carlo sampling. This
way, the gradients can be directly back-propagated from the 3D pose estimation
to the 2D heatmap, enabling end-to-end training. Extensive experiments on
Human3.6M and CMU Panoptic demonstrate that our method outperforms other
uncalibration methods and achieves comparable results with state-of-the-art
calibration methods. Thus, our method achieves a trade-off between estimation
accuracy and generalizability. Our code is in
https://github.com/bymaths/probabilistic_triangulation
- Abstract(参考訳): 3次元の人間のポーズ推定は、コンピュータビジョンとグラフィックスにおいて長年の課題であり、マルチビュー手法は大幅に進歩しているが、面倒なキャリブレーションプロセスによって制限されている。
既存のマルチビュー手法は固定カメラのポーズに制限されるため、一般化能力に欠ける。
本稿では,3次元ポーズ推定法に組み込むことが可能な,新しい確率的三角測量モジュールを提案する。
重要なアイデアは、確率分布を使ってカメラのポーズをモデル化し、カメラのポーズの代わりに2d機能からの分布を反復的に更新することだ。
具体的には、カメラポーズ分布を維持し、モンテカルロサンプリングによるカメラポーズの後方確率を計算して、この分布を反復的に更新する。
このようにして、勾配を3Dポーズ推定から直接2Dヒートマップに逆転させ、エンドツーエンドのトレーニングを可能にする。
また,Human3.6MとCMU Panopticの広汎な実験により,本手法が他の非校正法より優れ,最先端校正法と同等の結果が得られることを示した。
そこで本手法は,推定精度と一般化可能性とのトレードオフを実現する。
私たちのコードはhttps://github.com/bymaths/probabilistic_triangulationにあります。
関連論文リスト
- Cameras as Rays: Pose Estimation via Ray Diffusion [57.32374715650491]
カメラのポーズを推定することは3D再構築の基本的な課題であり、まばらな視点では依然として挑戦的である。
本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。
提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
論文 参考訳(メタデータ) (2024-02-22T18:59:56Z) - D3PRefiner: A Diffusion-based Denoise Method for 3D Human Pose
Refinement [3.514184876338779]
拡散型3次元ポース・リファイナは既存の3次元ポーズ推定器の出力を改良するために提案される。
現在の拡散モデルのアーキテクチャを利用して、ノイズの多い3Dポーズの分布を3Dポーズに変換する。
実験により,提案アーキテクチャは,現在の3次元ポーズ推定器の性能を大幅に向上させることができることを示した。
論文 参考訳(メタデータ) (2024-01-08T14:21:02Z) - ManiPose: Manifold-Constrained Multi-Hypothesis 3D Human Pose Estimation [54.86887812687023]
ほとんどの3D-HPE法は回帰モデルに依存しており、入力と出力の1対1のマッピングを前提としている。
提案するManiPoseは,2次元入力毎に複数の候補3次元ポーズを提案可能な,新しい多様体制約型マルチハイポテーシスモデルである。
従来のマルチハイブリッドアプローチとは異なり、我々のソリューションは完全に教師付きであり、複雑な生成モデルに依存しない。
論文 参考訳(メタデータ) (2023-12-11T13:50:10Z) - DiffPose: Multi-hypothesis Human Pose Estimation using Diffusion models [5.908471365011943]
与えられた入力画像に対して複数の仮説を予測する条件拡散モデルであるemphDiffPoseを提案する。
DiffPoseは, 簡単なポーズの多面的ポーズを推定し, 極めてあいまいなポーズに対して大きなマージンで優れることを示す。
論文 参考訳(メタデータ) (2022-11-29T18:55:13Z) - ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera
Elevation and Learning Normalizing Flows on 2D Poses [23.554957518485324]
本研究では、1つの画像から3次元人間のポーズを予測することを学ぶ教師なしのアプローチを提案する。
ランダムなプロジェクションに最も近い3次元ポーズを推定し、2次元ポーズの正規化フローを用いて推定する。
我々は,Human3.6M と MPI-INF-3DHP のベンチマークデータセット上で,最先端の教師なしポーズ推定手法を多くの指標で上回っている。
論文 参考訳(メタデータ) (2021-12-14T01:12:45Z) - Shape-aware Multi-Person Pose Estimation from Multi-View Images [47.13919147134315]
提案した粗大なパイプラインは、まず複数のカメラビューからノイズの多い2次元の観測結果を3次元空間に集約する。
最終的なポーズ推定は、高信頼度多視点2次元観測と3次元関節候補をリンクする新しい最適化スキームから得られる。
論文 参考訳(メタデータ) (2021-10-05T20:04:21Z) - MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。
本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
論文 参考訳(メタデータ) (2021-08-10T18:39:56Z) - Probabilistic Monocular 3D Human Pose Estimation with Normalizing Flows [24.0966076588569]
本稿では,不明瞭な逆2D-to-3D問題を解くために,決定論的3D-to-2Dマッピングを利用する正規化フローベース手法を提案する。
我々は、Human3.6MとMPI-INF-3DHPの2つのベンチマークデータセットに対するアプローチを評価し、ほとんどの指標において同等の手法を上回りました。
論文 参考訳(メタデータ) (2021-07-29T07:33:14Z) - Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文 参考訳(メタデータ) (2021-07-08T15:19:36Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳(メタデータ) (2020-10-27T03:31:35Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳(メタデータ) (2020-04-09T07:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。