論文の概要: Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2407.02990v1
• Date: Wed, 3 Jul 2024 10:42:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:45:33.535559
• Title: Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation
• Title（参考訳）: グラフとスクラップ変換器:効率的な3次元人物位置推定のための空間的・時間的モデリング能力の爆発
• Authors: Mengmeng Cui, Kunbo Zhang, Zhenan Sun,
• Abstract要約: 我々は、簡潔なグラフとSkipped Transformerアーキテクチャを用いて、Transformer-temporal情報を活用するためのグローバルなアプローチを採っている。 具体的には、3Dポーズの段階では、粗粒の体部が展開され、完全なデータ駆動適応モデルが構築される。 実験はHuman3.6M、MPI-INF-3DHP、Human-Evaベンチマークで行われた。
• 参考スコア（独自算出の注目度）: 36.93661496405653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, 2D-to-3D pose uplifting in monocular 3D Human Pose Estimation (HPE) has attracted widespread research interest. GNN-based methods and Transformer-based methods have become mainstream architectures due to their advanced spatial and temporal feature learning capacities. However, existing approaches typically construct joint-wise and frame-wise attention alignments in spatial and temporal domains, resulting in dense connections that introduce considerable local redundancy and computational overhead. In this paper, we take a global approach to exploit spatio-temporal information and realise efficient 3D HPE with a concise Graph and Skipped Transformer architecture. Specifically, in Spatial Encoding stage, coarse-grained body parts are deployed to construct Spatial Graph Network with a fully data-driven adaptive topology, ensuring model flexibility and generalizability across various poses. In Temporal Encoding and Decoding stages, a simple yet effective Skipped Transformer is proposed to capture long-range temporal dependencies and implement hierarchical feature aggregation. A straightforward Data Rolling strategy is also developed to introduce dynamic information into 2D pose sequence. Extensive experiments are conducted on Human3.6M, MPI-INF-3DHP and Human-Eva benchmarks. G-SFormer series methods achieve superior performances compared with previous state-of-the-arts with only around ten percent of parameters and significantly reduced computational complexity. Additionally, G-SFormer also exhibits outstanding robustness to inaccuracies in detected 2D poses.
• Abstract（参考訳）: 近年,2D-to-3Dによる単分子型3次元人物姿勢推定(HPE)の上昇が研究の関心を集めている。 GNNベースの手法とトランスフォーマーベースの手法は、空間的および時間的特徴学習能力の進歩により、主流のアーキテクチャとなっている。 しかし、既存のアプローチは通常、空間的および時間的領域における共同的およびフレーム的注意アライメントを構築し、結果として局所的な冗長性と計算上のオーバーヘッドをかなり引き起こすような密接な接続をもたらす。 本稿では,時空間情報を活用し,簡潔なグラフとスクリプトランスフォーマーアーキテクチャを用いて,効率的な3次元HPEを実現するためのグローバルアプローチを提案する。 具体的には、空間エンコーディングの段階では、粗粒度の粗いボディパーツを配置して、完全なデータ駆動適応トポロジを持つ空間グラフネットワークを構築し、様々なポーズにおけるモデルの柔軟性と一般化性を確保する。 テンポラルエンコーディングとデコーディングの段階では、長い時間的依存関係をキャプチャし、階層的な特徴集約を実装するために、シンプルで効果的なスキャットトランスフォーマーが提案されている。 動的情報を2次元ポーズシーケンスに導入するための簡単なデータローリング戦略も開発されている。 大規模な実験はHuman3.6M、MPI-INF-3DHP、Human-Evaベンチマークで行われる。 G-SFormer級数法は、パラメータの10%程度しか持たず、計算複雑性を著しく低減した従来の最先端技術と比較して、優れた性能を実現する。 さらに、G-SFormerは検出された2Dポーズにおける不正確性に対して顕著な堅牢性を示す。

関連論文リスト

• GEAL: Generalizable 3D Affordance Learning with Cross-Modal Consistency [50.11520458252128]
  既存の3Dアベイランス学習手法は、注釈付きデータに制限があるため、一般化と堅牢性に苦慮している。 本稿では,大規模事前学習型2Dモデルを活用することで,3次元アベイランス学習の一般化と堅牢性を高めるための新しいフレームワークであるGEALを提案する。 GEALは、既存のメソッドと、新しいオブジェクトカテゴリ、および破損したデータにおいて、一貫して優れています。
  論文  参考訳（メタデータ） (2024-12-12T17:59:03Z)
• 3D Equivariant Pose Regression via Direct Wigner-D Harmonics Prediction [50.07071392673984]
  既存の方法は、角度や四元数を用いて空間領域でパラメータ化された3次元回転を学習する。 本稿では,3次元回転回帰のためのWigner-D係数を直接予測する周波数領域アプローチを提案する。 提案手法は, ModelNet10-SO(3) や PASCAL3D+ などのベンチマーク上での最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-11-01T12:50:38Z)
• PoseMamba: Monocular 3D Human Pose Estimation with Bidirectional Global-Local Spatio-Temporal State Space Model [7.286873011001679]
  単眼ビデオにおける複雑な人間のポーズ推定のための線形相関を用いたSSMに基づく純粋手法を提案する。 具体的には、各フレーム内だけでなく、フレーム間の人間の関節関係を包括的にモデル化する、双方向の時間的・時間的ブロックを提案する。 この戦略により、より論理的な幾何学的順序付け戦略が提供され、結果として局所空間スキャンが組み合わせられる。
  論文  参考訳（メタデータ） (2024-08-07T04:38:03Z)
• STGFormer: Spatio-Temporal GraphFormer for 3D Human Pose Estimation in Video [7.345621536750547]
  本稿では,映像中の3次元ポーズ推定のためのグラフベースのフレームワークを提案する。 具体的には,各アテンション層に直接グラフ情報を統合するグラフベースのアテンションメカニズムを開発する。 提案手法は,3次元人物のポーズ推定において,最先端の性能を実現することを実証する。
  論文  参考訳（メタデータ） (2024-07-14T06:45:27Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Global-to-Local Modeling for Video-based 3D Human Pose and Shape Estimation [53.04781510348416]
  フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。 エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。 我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
  論文  参考訳（メタデータ） (2023-03-26T14:57:49Z)
• HSTFormer: Hierarchical Spatial-Temporal Transformers for 3D Human Pose Estimation [22.648409352844997]
  我々は階層型空間時間変換器 (HSTFormer) を提案し, 高精度な3次元ポーズ推定のために, 多段階関節の時空間相関を局所的からグローバル的に徐々に捉えている。 HSTFormerは4つの変換器エンコーダ(TE)と1つの融合モジュールから構成される。 MPI-INF-3DHPデータセットと小規模のHumanEvaデータセットに関する最近のSOTAを、高度に一般化された体系的アプローチで超越している。
  論文  参考訳（メタデータ） (2023-01-18T05:54:02Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)
• A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
  我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。 提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
  論文  参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。