論文の概要: STGFormer: Spatio-Temporal GraphFormer for 3D Human Pose Estimation in Video

• arxiv url: http://arxiv.org/abs/2407.10099v1
• Date: Sun, 14 Jul 2024 06:45:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 19:28:46.620276
• Title: STGFormer: Spatio-Temporal GraphFormer for 3D Human Pose Estimation in Video
• Title（参考訳）: STGFormer:ビデオにおける3次元人物位置推定のための時空間グラフフォーマ
• Authors: Yang Liu, Zhiyong Zhang,
• Abstract要約: 本稿では,映像中の3次元ポーズ推定のためのグラフベースのフレームワークを提案する。 具体的には,各アテンション層に直接グラフ情報を統合するグラフベースのアテンションメカニズムを開発する。 提案手法は,3次元人物のポーズ推定において,最先端の性能を実現することを実証する。
• 参考スコア（独自算出の注目度）: 7.345621536750547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current methods of video-based 3D human pose estimation have achieved significant progress; however, they continue to confront the significant challenge of depth ambiguity. To address this limitation, this paper presents the spatio-temporal GraphFormer framework for 3D human pose estimation in video, which integrates body structure graph-based representations with spatio-temporal information. Specifically, we develop a spatio-temporal criss-cross graph (STG) attention mechanism. This approach is designed to learn the long-range dependencies in data across both time and space, integrating graph information directly into the respective attention layers. Furthermore, we introduce the dual-path modulated hop-wise regular GCN (MHR-GCN) module, which utilizes modulation to optimize parameter usage and employs spatio-temporal hop-wise skip connections to acquire higher-order information. Additionally, this module processes temporal and spatial dimensions independently to learn their respective features while avoiding mutual influence. Finally, we demonstrate that our method achieves state-of-the-art performance in 3D human pose estimation on the Human3.6M and MPI-INF-3DHP datasets.
• Abstract（参考訳）: 映像に基づく3次元ポーズ推定の現在の手法は、大きな進歩を遂げているが、深度あいまいさという大きな課題に直面し続けている。 この制限に対処するため,本研究では,人体構造図に基づく表現を時空間情報と統合した映像中の3次元ポーズ推定のための時空間グラフフォーマーフレームワークを提案する。 具体的には、時空間クリスクロスグラフ(STG)のアテンション機構を開発する。 このアプローチは、時間と空間の両方にわたるデータの長距離依存性を学習し、グラフ情報を各注意層に直接統合するように設計されている。 さらに、パラメータ使用量の最適化に変調を利用するデュアルパス変調ホップワイド正規GCN(MHR-GCN)モジュールを導入し、高次情報を取得するために時空間ホップワイド接続を用いる。 さらに、このモジュールは時間次元と空間次元を独立に処理し、相互の影響を避けながらそれぞれの特徴を学習する。 最後に,本手法がHuman3.6MとMPI-INF-3DHPデータセットの3次元ポーズ推定における最先端性能を実現することを示す。

関連論文リスト

• Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation [36.93661496405653]
  我々は、簡潔なグラフとSkipped Transformerアーキテクチャを用いて、Transformer-temporal情報を活用するためのグローバルなアプローチを採っている。 具体的には、3Dポーズの段階では、粗粒の体部が展開され、完全なデータ駆動適応モデルが構築される。 実験はHuman3.6M、MPI-INF-3DHP、Human-Evaベンチマークで行われた。
  論文  参考訳（メタデータ） (2024-07-03T10:42:09Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images [79.70127290464514]
  我々は,タスクを2つの段階,すなわち人物のローカライゼーションとポーズ推定に分解する。 また,効率的なメッセージパッシングのための3つのタスク固有グラフニューラルネットワークを提案する。 提案手法は,CMU Panoptic と Shelf のデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-09-13T11:44:07Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• Self-Attentive 3D Human Pose and Shape Estimation from Videos [82.63503361008607]
  3D人間のポーズと形状推定のためのビデオベースの学習アルゴリズムを紹介します。 ビデオの時間情報を利用して自己着脱モジュールを提案する。 本手法を3DPW, MPI-INF-3DHP, Human3.6Mデータセット上で評価した。
  論文  参考訳（メタデータ） (2021-03-26T00:02:19Z)
• Enhanced 3D Human Pose Estimation from Videos by using Attention-Based Neural Network with Dilated Convolutions [12.900524511984798]
  従来のネットワークや制約の形式が、どのように注意の枠組みに組み込むことができるのかを体系的な設計で示します。 拡張畳み込みのマルチスケール構造により,時間受容場を適応させることにより,これを実現する。 提案手法は,Human3.6Mデータセット上での関節位置誤差の平均を33.4mmに減らし,最先端性能を達成し,既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-03-04T17:26:51Z)
• Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition [79.33539539956186]
  本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。 これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-31T11:28:25Z)
• A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
  我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。 提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
  論文  参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。