論文の概要: Transformers with Joint Tokens and Local-Global Attention for Efficient Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2503.00232v1
• Date: Fri, 28 Feb 2025 22:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:24.954810
• Title: Transformers with Joint Tokens and Local-Global Attention for Efficient Human Pose Estimation
• Title（参考訳）: 共同トークンと局所的注意力を持つトランスフォーマーによる効率的なヒューマン・ポース推定
• Authors: Kaleab A. Kinfu, René Vidal,
• Abstract要約: 本稿では,精度,効率,ロバストな2次元ポーズ推定のための2つのViTモデルを提案する。 6つのベンチマーク実験により,提案手法が最先端手法を著しく上回ることを示した。
• 参考スコア（独自算出の注目度）: 34.99437411281915
• License:
• Abstract: Convolutional Neural Networks (CNNs) and Vision Transformers (ViTs) have led to significant progress in 2D body pose estimation. However, achieving a good balance between accuracy, efficiency, and robustness remains a challenge. For instance, CNNs are computationally efficient but struggle with long-range dependencies, while ViTs excel in capturing such dependencies but suffer from quadratic computational complexity. This paper proposes two ViT-based models for accurate, efficient, and robust 2D pose estimation. The first one, EViTPose, operates in a computationally efficient manner without sacrificing accuracy by utilizing learnable joint tokens to select and process a subset of the most important body patches, enabling us to control the trade-off between accuracy and efficiency by changing the number of patches to be processed. The second one, UniTransPose, while not allowing for the same level of direct control over the trade-off, efficiently handles multiple scales by combining (1) an efficient multi-scale transformer encoder that uses both local and global attention with (2) an efficient sub-pixel CNN decoder for better speed and accuracy. Moreover, by incorporating all joints from different benchmarks into a unified skeletal representation, we train robust methods that learn from multiple datasets simultaneously and perform well across a range of scenarios -- including pose variations, lighting conditions, and occlusions. Experiments on six benchmarks demonstrate that the proposed methods significantly outperform state-of-the-art methods while improving computational efficiency. EViTPose exhibits a significant decrease in computational complexity (30% to 44% less in GFLOPs) with a minimal drop of accuracy (0% to 3.5% less), and UniTransPose achieves accuracy improvements ranging from 0.9% to 43.8% across these benchmarks.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、2Dボディポーズ推定に大きな進歩をもたらした。 しかしながら、正確性、効率性、堅牢性の間のバランスのよい達成は、依然として課題である。 例えば、CNNは計算効率が良く、長距離依存に苦しむが、ViTはそのような依存を捉えるのに優れ、二次計算の複雑さに悩まされる。 本稿では,精度,効率,ロバストな2次元ポーズ推定のための2つのViTモデルを提案する。 第1のEViTPoseは、学習可能なジョイントトークンを利用して、最も重要なボディパッチのサブセットを選択し、処理することにより、処理対象のパッチ数を変更することにより、精度と効率のトレードオフを制御することができる。 2つめのUniTransPoseは,(1)局所的および大域的両方の注意を用いた効率的なマルチスケールトランスフォーマーエンコーダと(2)より高速かつ高精度なサブピクセルCNNデコーダを組み合わせることで,トレードオフに対する同じレベルの直接制御を許さないが,複数のスケールを効率的に処理する。 さらに、異なるベンチマークからのすべてのジョイントを統一された骨格表現に組み込むことで、複数のデータセットから同時に学習し、さまざまなシナリオ -- ポーズのバリエーション、照明条件、閉塞など -- にわたってうまく機能する堅牢なメソッドをトレーニングします。 6つのベンチマーク実験により,提案手法は計算効率を向上しつつ,最先端手法を著しく上回ることを示した。 EViTPoseは計算複雑性の大幅な低下(GFLOPsでは30%から44%減少)と精度の低下(0%から3.5%低下)を示し、UniTransPoseはこれらのベンチマークで0.9%から43.8%の精度改善を実現している。

関連論文リスト

• Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
  フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-11T02:59:11Z)
• Efficient Vision Transformer for Human Pose Estimation via Patch Selection [1.450405446885067]
  ビジョントランスフォーマー(ViT)はCNNに代わる有望な代替品として登場し、最先端のパフォーマンスを向上している。 本稿では,ViTの計算複雑性を低減するための3つの方法を提案する。 提案手法は,0%から3.5%の精度で,30%から44%の範囲で計算複雑性の大幅な低減を実現している。
  論文  参考訳（メタデータ） (2023-06-07T08:02:17Z)
• Efficient and Effective Methods for Mixed Precision Neural Network Quantization for Faster, Energy-efficient Inference [3.3213055774512648]
  ネットワークの精度を下げるための量子化は、ネットワークを単純化する強力な技術である。 混合精度量子化法は,各レイヤの精度を選択的に調整し,タスク性能の最小低下を実現する。 タスク性能に及ぼすレイヤー精度選択の影響を推定するために,2つの方法を紹介した。 EAGLとALPSを用いて4ビット層と2ビット層を混合して完全精度を復元する。
  論文  参考訳（メタデータ） (2023-01-30T23:26:33Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through Regularized Self-Attention [48.697458429460184]
  情報ボトルネック感度と異なる注目トポロジ間の不整合の2つの要因がスパース変換器の性能に影響を及ぼす可能性がある。 本稿では,ERNIE-Sparseというモデルを提案する。 i) 局所情報とグローバル情報を逐次統一する階層スパース変換器(HST) と、(ii) 注意トポロジの異なる変換器の距離を最小化する自己注意正規化(SAR) の2つの特徴がある。
  論文  参考訳（メタデータ） (2022-03-23T08:47:01Z)
• DoT: An efficient Double Transformer for NLP tasks with tables [3.0079490585515343]
  DoTは、問題を2つのサブタスクに分解するダブルトランスフォーマーモデルである。 少ない精度でDoTはトレーニング時間と推論時間を少なくとも50%改善することを示した。
  論文  参考訳（メタデータ） (2021-06-01T13:33:53Z)
• Inception Convolution with Efficient Dilation Search [121.41030859447487]
  拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。 そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。 本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
  論文  参考訳（メタデータ） (2020-12-25T14:58:35Z)
• Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
  完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。 我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。 すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
  論文  参考訳（メタデータ） (2020-03-25T17:54:38Z)
• Efficient Bitwidth Search for Practical Mixed Precision Neural Network [33.80117489791902]
  ネットワーク量子化は、ディープニューラルネットワークを圧縮し加速する最も広く使われている方法の1つとなっている。 近年の研究では、異なる精度で異なる層からの重みと活性化を定量化し、全体的な性能を向上させることを提案する。 それぞれの層の重みと活性化に最適なビット幅(すなわち精度)を見つけることは困難である。 一般的なハードウェアプラットフォーム上で、異なる精度の重み付けとアクティベーションのためにどのように畳み込みを実行するかは、まだ不明である。
  論文  参考訳（メタデータ） (2020-03-17T08:27:48Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。