論文の概要: Dual-stream Transformer-GCN Model with Contextualized Representations Learning for Monocular 3D Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2504.01764v1
• Date: Wed, 02 Apr 2025 14:17:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:22.757283
• Title: Dual-stream Transformer-GCN Model with Contextualized Representations Learning for Monocular 3D Human Pose Estimation
• Title（参考訳）: 文脈適応型表現学習を用いた2流変圧器-GCNモデルによる単眼3次元人物位置推定
• Authors: Mingrui Ye, Lianping Yang, Hegui Zhu, Zenghao Zheng, Xin Wang, Yantao Lo,
• Abstract要約: 一人称3次元人物のポーズ推定には,深度あいまいさ,限られた3次元ラベル付きトレーニングデータ,不均衡モデリング,限定モデル一般化が課題である。 本稿では,文脈適応型表現学習に基づくグラウンドブレーキング動作事前学習手法を提案する。 本モデルでは,Human3.6MのMPJPEが38.0mm,P-MPJPEが31.9mm,MPPI-INF-3DHPのMPJPEが15.9mmであった。
• 参考スコア（独自算出の注目度）: 5.578771488072936
• License:
• Abstract: This paper introduces a novel approach to monocular 3D human pose estimation using contextualized representation learning with the Transformer-GCN dual-stream model. Monocular 3D human pose estimation is challenged by depth ambiguity, limited 3D-labeled training data, imbalanced modeling, and restricted model generalization. To address these limitations, our work introduces a groundbreaking motion pre-training method based on contextualized representation learning. Specifically, our method involves masking 2D pose features and utilizing a Transformer-GCN dual-stream model to learn high-dimensional representations through a self-distillation setup. By focusing on contextualized representation learning and spatial-temporal modeling, our approach enhances the model's ability to understand spatial-temporal relationships between postures, resulting in superior generalization. Furthermore, leveraging the Transformer-GCN dual-stream model, our approach effectively balances global and local interactions in video pose estimation. The model adaptively integrates information from both the Transformer and GCN streams, where the GCN stream effectively learns local relationships between adjacent key points and frames, while the Transformer stream captures comprehensive global spatial and temporal features. Our model achieves state-of-the-art performance on two benchmark datasets, with an MPJPE of 38.0mm and P-MPJPE of 31.9mm on Human3.6M, and an MPJPE of 15.9mm on MPI-INF-3DHP. Furthermore, visual experiments on public datasets and in-the-wild videos demonstrate the robustness and generalization capabilities of our approach.
• Abstract（参考訳）: 本稿では,Transformer-GCN二重ストリームモデルを用いた文脈化表現学習を用いたモノラルな3次元ポーズ推定手法を提案する。 一人称3次元人物のポーズ推定には,深度あいまいさ,限られた3次元ラベル付きトレーニングデータ,不均衡モデリング,限定モデル一般化が課題である。 これらの制約に対処するため,文脈適応型表現学習に基づく接地動作事前学習手法を提案する。 具体的には、2次元ポーズの特徴をマスキングし、トランスフォーマー-GCN二重ストリームモデルを用いて自己蒸留装置を用いて高次元表現を学習する。 文脈的表現学習と時空間モデリングに焦点をあてることで、姿勢間の空間的時間的関係を理解するモデルの能力を高め、より優れた一般化をもたらす。 さらに,Transformer-GCNデュアルストリームモデルを利用することで,映像ポーズ推定におけるグローバルとローカルの相互作用を効果的にバランスさせる。 モデルはTransformerストリームとGCNストリームの両方から情報を適応的に統合し、GCNストリームは隣接するキーポイントとフレーム間の局所的関係を効果的に学習し、Transformerストリームは包括的なグローバル空間的特徴と時間的特徴をキャプチャする。 本モデルでは,Human3.6MのMPJPEが38.0mm,P-MPJPEが31.9mm,MPPI-INF-3DHPのMPJPEが15.9mmであった。 さらに、公開データセットとインザワイルドビデオの視覚実験により、我々のアプローチの堅牢性と一般化能力を実証した。

関連論文リスト

• Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
  従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。 そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。 PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
  論文  参考訳（メタデータ） (2024-07-26T06:29:09Z)
• Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation [36.93661496405653]
  我々は、簡潔なグラフとSkipped Transformerアーキテクチャを用いて、Transformer-temporal情報を活用するためのグローバルなアプローチを採っている。 具体的には、3Dポーズの段階では、粗粒の体部が展開され、完全なデータ駆動適応モデルが構築される。 実験はHuman3.6M、MPI-INF-3DHP、Human-Evaベンチマークで行われた。
  論文  参考訳（メタデータ） (2024-07-03T10:42:09Z)
• Multi-Context Dual Hyper-Prior Neural Image Compression [10.349258638494137]
  入力画像から局所的情報と大域的情報の両方を効率的にキャプチャするトランスフォーマーに基づく非線形変換を提案する。 また、2つの異なるハイパープライヤを組み込んだ新しいエントロピーモデルを導入し、潜在表現のチャネル間および空間的依存関係をモデル化する。 実験の結果,提案するフレームワークは,速度歪み性能の観点から,最先端の手法よりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-09-19T17:44:44Z)
• Double-chain Constraints for 3D Human Pose Estimation in Images and Videos [21.42410292863492]
  深度情報を欠く2次元のポーズから3Dのポーズを再構築することは、人間の動きの複雑さと多様性のために困難である。 ポーズを制約する新しいモデルであるDouble-chain Graph Convolutional Transformer (DC-GCT)を提案する。 本稿では,DC-GCTが2つの挑戦的データセットに対して最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-08-10T02:41:18Z)
• Lightweight Vision Transformer with Bidirectional Interaction [59.39874544410419]
  本研究では,視覚変換器の局所的・グローバル的情報をモデル化するためのFASA機構を提案する。 FASAに基づいて、我々はFAT(Fully Adaptive Transformer)ファミリーという軽量なビジョンバックボーンのファミリーを開発した。
  論文  参考訳（メタデータ） (2023-06-01T06:56:41Z)
• ConvFormer: Parameter Reduction in Transformer Models for 3D Human Pose Estimation by Leveraging Dynamic Multi-Headed Convolutional Attention [0.0]
  textbftextitConvFormerは、3D人間のポーズ推定タスクのための新しい畳み込み変換器である。 我々は,Human3.6M,MPI-INF-3DHP,HumanEvaの3つのベンチマークデータセットで本手法を検証した。
  論文  参考訳（メタデータ） (2023-04-04T22:23:50Z)
• Global-to-Local Modeling for Video-based 3D Human Pose and Shape Estimation [53.04781510348416]
  フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。 エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。 我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
  論文  参考訳（メタデータ） (2023-03-26T14:57:49Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)
• Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
  ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。 我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
  論文  参考訳（メタデータ） (2021-06-17T02:30:26Z)
• 3D Human Pose Estimation with Spatial and Temporal Transformers [59.433208652418976]
  PoseFormerは、3D人間のポーズ推定のための純粋にトランスフォーマーベースのアプローチです。 近年の視覚変換器の発展に触発されて,空間時間変換器構造を設計する。 提案手法を2つの人気ベンチマークと標準ベンチマークで定量的に定性的に評価する。
  論文  参考訳（メタデータ） (2021-03-18T18:14:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。