論文の概要: D3PRefiner: A Diffusion-based Denoise Method for 3D Human Pose
Refinement
- arxiv url: http://arxiv.org/abs/2401.03914v1
- Date: Mon, 8 Jan 2024 14:21:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 16:05:32.493057
- Title: D3PRefiner: A Diffusion-based Denoise Method for 3D Human Pose
Refinement
- Title（参考訳）: D3PRefiner:D3PRefinerによる3次元空間の微細化
- Authors: Danqi Yan, Qing Gao, Yuepeng Qian, Xinxing Chen, Chenglong Fu, and
Yuquan Leng
- Abstract要約: 拡散型3次元ポース・リファイナは既存の3次元ポーズ推定器の出力を改良するために提案される。
現在の拡散モデルのアーキテクチャを利用して、ノイズの多い3Dポーズの分布を3Dポーズに変換する。
実験により,提案アーキテクチャは,現在の3次元ポーズ推定器の性能を大幅に向上させることができることを示した。
- 参考スコア（独自算出の注目度）: 3.514184876338779
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Three-dimensional (3D) human pose estimation using a monocular camera has
gained increasing attention due to its ease of implementation and the abundance
of data available from daily life. However, owing to the inherent depth
ambiguity in images, the accuracy of existing monocular camera-based 3D pose
estimation methods remains unsatisfactory, and the estimated 3D poses usually
include much noise. By observing the histogram of this noise, we find each
dimension of the noise follows a certain distribution, which indicates the
possibility for a neural network to learn the mapping between noisy poses and
ground truth poses. In this work, in order to obtain more accurate 3D poses, a
Diffusion-based 3D Pose Refiner (D3PRefiner) is proposed to refine the output
of any existing 3D pose estimator. We first introduce a conditional
multivariate Gaussian distribution to model the distribution of noisy 3D poses,
using paired 2D poses and noisy 3D poses as conditions to achieve greater
accuracy. Additionally, we leverage the architecture of current diffusion
models to convert the distribution of noisy 3D poses into ground truth 3D
poses. To evaluate the effectiveness of the proposed method, two
state-of-the-art sequence-to-sequence 3D pose estimators are used as basic 3D
pose estimation models, and the proposed method is evaluated on different types
of 2D poses and different lengths of the input sequence. Experimental results
demonstrate the proposed architecture can significantly improve the performance
of current sequence-to-sequence 3D pose estimators, with a reduction of at
least 10.3% in the mean per joint position error (MPJPE) and at least 11.0% in
the Procrustes MPJPE (P-MPJPE).
- Abstract（参考訳）: 単眼カメラを用いた3次元ポーズ推定は, 実装が容易で, 日常生活から得られるデータが豊富であることから, 注目を集めている。
しかし、画像の奥行きのあいまいさのため、既存の単眼カメラによる3Dポーズ推定手法の精度は相容れないままであり、推定された3Dポーズには通常多くのノイズが含まれる。
このノイズのヒストグラムを観察することで、ノイズのそれぞれの次元は特定の分布に従っており、ニューラルネットワークがノイズのポーズと地面の真実のポーズの間のマッピングを学習する可能性を示している。
本研究では,より正確な3dポーズを得るため,既存の3dポーズ推定器の出力を精錬するために拡散型3dポーズ精錬器(d3prefiner)を提案する。
まず,条件付き多変量ガウス分布を導入し,より精度の高い条件として2次元ポーズと3次元ポーズのペアを用いた3次元ポーズ分布のモデル化を行った。
さらに,現在の拡散モデルのアーキテクチャを活用して,ノイズの多い3dポーズの分布を基底真理3dポーズに変換する。
提案手法の有効性を評価するため, 基本3次元ポーズ推定モデルとして, 2つの最先端の3Dポーズ推定器を用い, 入力シーケンスの異なるタイプの2Dポーズと異なる長さで評価した。
実験により,提案アーキテクチャは,MPJPE平均の少なくとも10.3%,P-MPJPE平均の少なくとも11.0%を削減し,現在の3次元ポーズ推定器の性能を著しく向上させることができることを示した。
関連論文リスト
- UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。
直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
論文 参考訳（メタデータ） (2024-04-23T00:18:00Z) - 3D-Aware Neural Body Fitting for Occlusion Robust 3D Human Pose
Estimation [28.24765523800196]
本研究では,3次元ポーズ推定のための3次元認識型ニューラルボディフィッティング(3DNBF)を提案する。
特に,3次元ポーズ依存特徴ベクトルを出力するガウス楕円体カーネルを用いた人間の体積表現に基づく深部特徴の生成モデルを提案する。
ニューラル特徴は、対照的な学習で訓練され、3D認識となり、2D-3D曖昧さを克服する。
論文 参考訳（メタデータ） (2023-08-19T22:41:00Z) - Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis
Aggregation [64.874000550443]
ジョイントワイズ・リジェクション・ベース・マルチハイブリッド・アグリゲーション(JPMA)を用いた拡散型3次元ポス推定法を提案する。
提案したJPMAは,D3DPが生成する複数の仮説を1つの3次元ポーズにまとめて実用的に利用する。
提案手法は, 最先端の決定論的アプローチと確率論的アプローチをそれぞれ1.5%, 8.9%上回った。
論文 参考訳（メタデータ） (2023-03-21T04:00:47Z) - DiffPose: Toward More Reliable 3D Pose Estimation [11.6015323757147]
逆拡散過程として3次元ポーズ推定を定式化する新しいポーズ推定フレームワーク(DiffPose)を提案する。
提案するDiffPoseは,Human3.6MとMPI-INF-3DHPで広く使用されているポーズ推定ベンチマークにおいて,既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2022-11-30T12:22:22Z) - A generic diffusion-based approach for 3D human pose prediction in the
wild [68.00961210467479]
3D人間のポーズ予測、すなわち、過去の観察されたポーズのシーケンスが与えられた後の人間の3Dポーズのシーケンスを予測することは、困難な時間課題である。
本稿では,不完全な要素(予測や観測に関係しない)をノイズとして扱える統一的な定式化法を提案し,それらを認知し,妥当なポーズを予測する条件拡散モデルを提案する。
本研究は,4つの標準データセットについて検討し,現状よりも大幅に改善された。
論文 参考訳（メタデータ） (2022-10-11T17:59:54Z) - PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。
PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。
我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
論文 参考訳（メタデータ） (2021-12-21T12:48:48Z) - Probabilistic Monocular 3D Human Pose Estimation with Normalizing Flows [24.0966076588569]
本稿では,不明瞭な逆2D-to-3D問題を解くために,決定論的3D-to-2Dマッピングを利用する正規化フローベース手法を提案する。
我々は、Human3.6MとMPI-INF-3DHPの2つのベンチマークデータセットに対するアプローチを評価し、ほとんどの指標において同等の手法を上回りました。
論文 参考訳（メタデータ） (2021-07-29T07:33:14Z) - Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文 参考訳（メタデータ） (2021-07-08T15:19:36Z) - Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose
Estimation [18.103595280706593]
我々は,CNNによる信頼度の高い2次元ポーズ推定の最近の進歩を活用し,深度画像から人物の3次元ポーズを推定する。
提案手法は2つの公開データセットの精度と速度の両面で非常に競争力のある結果が得られる。
論文 参考訳（メタデータ） (2020-11-10T10:08:13Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳（メタデータ） (2020-10-27T03:31:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。