論文の概要: Enhancing 3D Human Pose Estimation Amidst Severe Occlusion with Dual Transformer Fusion

• arxiv url: http://arxiv.org/abs/2410.04574v1
• Date: Sun, 6 Oct 2024 18:15:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 06:36:17.331825
• Title: Enhancing 3D Human Pose Estimation Amidst Severe Occlusion with Dual Transformer Fusion
• Title（参考訳）: Dual Transformer Fusion による重症閉塞症における3次元姿勢推定の強化
• Authors: Mehwish Ghafoor, Arif Mahmood, Muhammad Bilal,
• Abstract要約: 本稿では,DTF(Dual Transformer Fusion)アルゴリズムを提案する。 正確な3Dヒューマンポース推定を実現するために,本手法では,まず2つの中間ビューを生成する革新的なDTFアーキテクチャを利用する。 このアプローチは、両方のデータセットで既存の最先端メソッドよりも優れており、大幅に改善されています。
• 参考スコア（独自算出の注目度）: 13.938406073551844
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the field of 3D Human Pose Estimation from monocular videos, the presence of diverse occlusion types presents a formidable challenge. Prior research has made progress by harnessing spatial and temporal cues to infer 3D poses from 2D joint observations. This paper introduces a Dual Transformer Fusion (DTF) algorithm, a novel approach to obtain a holistic 3D pose estimation, even in the presence of severe occlusions. Confronting the issue of occlusion-induced missing joint data, we propose a temporal interpolation-based occlusion guidance mechanism. To enable precise 3D Human Pose Estimation, our approach leverages the innovative DTF architecture, which first generates a pair of intermediate views. Each intermediate-view undergoes spatial refinement through a self-refinement schema. Subsequently, these intermediate-views are fused to yield the final 3D human pose estimation. The entire system is end-to-end trainable. Through extensive experiments conducted on the Human3.6M and MPI-INF-3DHP datasets, our method's performance is rigorously evaluated. Notably, our approach outperforms existing state-of-the-art methods on both datasets, yielding substantial improvements. The code is available here: https://github.com/MehwishG/DTF.
• Abstract（参考訳）: モノクロビデオからの3Dヒューマン・ポース推定の分野では、多様なオクルージョン・タイプの存在が深刻な課題となっている。 従来の研究では、2次元関節観察から3次元のポーズを推測するために空間的および時間的手がかりを利用することで進歩している。 本稿では,重篤なオクルージョンの存在下でも,全身的な3次元ポーズ推定を実現するための新しいアプローチであるDTFアルゴリズムを提案する。 咬合誘発関節データ不足の問題に先立ち,時間的補間に基づく咬合誘導機構を提案する。 正確な3Dヒューマンポース推定を実現するために,本手法では,まず2つの中間ビューを生成する革新的なDTFアーキテクチャを利用する。 各中間ビューは、自己精製スキーマを介して空間的精細化を行う。 その後、これらの中間ビューを融合して最終3次元人のポーズ推定を行う。 システム全体がエンドツーエンドのトレーニングが可能である。 また,Human3.6MとMPI-INF-3DHPデータセットを用いた広範囲な実験により,本手法の性能評価を行った。 特に、我々のアプローチは、両方のデータセットで既存の最先端メソッドよりも優れており、大幅な改善をもたらします。 コードは、https://github.com/MehwishG/DTF.comで入手できる。

関連論文リスト

• Hybrid 3D Human Pose Estimation with Monocular Video and Sparse IMUs [15.017274891943162]
  モノクロビデオからの時間的3Dポーズ推定は、人間中心のコンピュータビジョンにおいて難しい課題である。 情報ソースを補完するために慣性センサが導入された。 物理的に合理的な3Dポーズを生成するために、異種センサデータを統合することは依然として困難である。
  論文  参考訳（メタデータ） (2024-04-27T09:02:42Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• JOTR: 3D Joint Contrastive Learning with Transformers for Occluded Human Mesh Recovery [84.67823511418334]
  本稿では,3次元メッシュ復元のためのTRansformersフレームワークを用いた3次元ジョイントコントラスト学習について述べる。 提案手法は,2D$&$3D対応結果を得るために,2Dおよび3D表現を融合するエンコーダ・デコーダ変換器アーキテクチャを含む。
  論文  参考訳（メタデータ） (2023-07-31T02:58:58Z)
• DiffuPose: Monocular 3D Human Pose Estimation via Denoising Diffusion Probabilistic Model [25.223801390996435]
  本稿では,1つの2次元キーポイント検出から3次元ポーズを再構築することに焦点を当てた。 我々は,市販の2D検出器から多種多様な3Dポーズを効果的にサンプリングするための,拡散に基づく新しいフレームワークを構築した。 我々は,広く採用されているHuman3.6MとHumanEva-Iデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2022-12-06T07:22:20Z)
• (Fusionformer):Exploiting the Joint Motion Synergy with Fusion Network Based On Transformer for 3D Human Pose Estimation [1.52292571922932]
  多くの従来手法では、局所的な関節情報の理解が欠けていた。 提案手法では,グローバル・テンポラル・セルフ・トラジェクトリ・モジュールとクロス・テンポラル・セルフ・トラジェクトリ・モジュールを導入する。 その結果、Human3.6Mデータセットでは2.4%のMPJPEと4.3%のP-MPJPEが改善された。
  論文  参考訳（メタデータ） (2022-10-08T12:22:10Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in the Wild [77.43884383743872]
  本稿では,アダプティブなマルチビュー融合手法であるAdaFuseについて述べる。 我々は、Human3.6M、Total Capture、CMU Panopticの3つの公開データセットに対するアプローチを広く評価した。 また,大規模合成データセットOcclusion-Personを作成し,咬合関節の数値評価を行う。
  論文  参考訳（メタデータ） (2020-10-26T03:19:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。