論文の概要: Poseur: Direct Human Pose Regression with Transformers
- arxiv url: http://arxiv.org/abs/2201.07412v1
- Date: Wed, 19 Jan 2022 04:31:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 14:48:57.404898
- Title: Poseur: Direct Human Pose Regression with Transformers
- Title(参考訳): Poseur: トランスフォーマーによる直接の人間姿勢回帰
- Authors: Weian Mao and Yongtao Ge and Chunhua Shen and Zhi Tian and Xinlong
Wang and Zhibin Wang and Anton van den Hengel
- Abstract要約: 単一画像からの2次元人間のポーズ推定に対する直接回帰に基づくアプローチを提案する。
私たちのフレームワークはエンドツーエンドの差別化が可能で、キーポイント間の依存関係を自然に活用することを学びます。
我々のアプローチは、最も優れたヒートマップベースのポーズ推定手法と比較して好意的に機能する最初の回帰ベースのアプローチである。
- 参考スコア(独自算出の注目度): 119.79232258661995
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose a direct, regression-based approach to 2D human pose estimation
from single images. We formulate the problem as a sequence prediction task,
which we solve using a Transformer network. This network directly learns a
regression mapping from images to the keypoint coordinates, without resorting
to intermediate representations such as heatmaps. This approach avoids much of
the complexity associated with heatmap-based approaches. To overcome the
feature misalignment issues of previous regression-based methods, we propose an
attention mechanism that adaptively attends to the features that are most
relevant to the target keypoints, considerably improving the accuracy.
Importantly, our framework is end-to-end differentiable, and naturally learns
to exploit the dependencies between keypoints. Experiments on MS-COCO and MPII,
two predominant pose-estimation datasets, demonstrate that our method
significantly improves upon the state-of-the-art in regression-based pose
estimation. More notably, ours is the first regression-based approach to
perform favorably compared to the best heatmap-based pose estimation methods.
- Abstract(参考訳): 単一画像からの2次元人間のポーズ推定に対する直接回帰に基づくアプローチを提案する。
この問題をシーケンス予測タスクとして定式化し、トランスフォーマーネットワークを用いて解決する。
このネットワークは、熱マップのような中間表現に頼ることなく、画像からキーポイント座標への回帰マッピングを直接学習する。
このアプローチは、ヒートマップベースのアプローチに関連する複雑さの多くを回避する。
従来の回帰型手法の特徴的不一致を克服するために,ターゲットキーポイントに最も関係のある特徴に適応して対応し,精度を大幅に向上する注意機構を提案する。
重要なことは、私たちのフレームワークはエンドツーエンドの差別化可能であり、キーポイント間の依存関係を自然に活用することを学びます。
2つの主要なポーズ推定データセットであるMS-COCOとMPIIの実験は、回帰に基づくポーズ推定における最先端の手法を著しく改善することを示した。
さらに注目すべきは、最も優れたヒートマップベースのポーズ推定手法と比較して、回帰に基づく最初のアプローチである。
関連論文リスト
- Improving Robustness for Pose Estimation via Stable Heatmap Regression [19.108116394510258]
ネットワーク脆弱性を小さな摂動に緩和するヒートマップ回帰法を提案する。
最適化の難易度を簡略化するために、最大安定性トレーニング損失を使用する。
提案手法は,2つのベンチマークデータセットに対する最先端アプローチに対するロバスト性を大幅に向上させる。
論文 参考訳(メタデータ) (2021-05-08T03:07:05Z) - Pose Recognition with Cascade Transformers [31.7059023190426]
変換器を用いた回帰型ポーズ認識手法を提案する。
ヒートマップベースおよび回帰ベースの手法は高い精度を達成するが、様々な設計の対象となる。
実験では, 競合回帰法と比較して, ポーズ認識の競合結果を報告する。
論文 参考訳(メタデータ) (2021-04-14T17:00:22Z) - Bottom-Up Human Pose Estimation Via Disentangled Keypoint Regression [81.05772887221333]
従来のキーポイント検出およびグループ化フレームワークに劣る密度の高いキーポイント回帰フレームワークについて検討する。
我々は,dekr(disentangled keypoint regression)という,単純かつ効果的な手法を提案する。
提案手法はキーポイント検出法やグループ化法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-04-06T05:54:46Z) - TFPose: Direct Human Pose Estimation with Transformers [83.03424247905869]
ポーズ推定タスクを変換器で効果的に解くことができるシーケンス予測問題に定式化します。
我々のフレームワークは単純で直接的であり、ヒートマップに基づくポーズ推定の欠点を回避している。
MS-COCOおよびMPIIデータセットの実験は、この手法が回帰ベースのポーズ推定の最先端を大幅に改善できることを示しています。
論文 参考訳(メタデータ) (2021-03-29T04:18:54Z) - End-to-End Trainable Multi-Instance Pose Estimation with Transformers [68.93512627479197]
畳み込みニューラルネットワークとトランスを組み合わせることで,マルチインスタンスポーズ推定のための新たなエンドツーエンドトレーニング可能なアプローチを提案する。
変換器を用いたエンドツーエンドのトレーニング可能なオブジェクト検出に関する最近の研究に触発されて、変換器エンコーダデコーダアーキテクチャとバイパーティイトマッチングスキームを併用して、与えられた画像中のすべての個人のポーズを直接回帰する。
提案モデルであるポーズ推定トランスフォーマ(poet)は,キーポイント損失,キーポイント可視性損失,センター損失,クラス損失からなる,新たなセットベースグローバル損失を用いてトレーニングを行う。
論文 参考訳(メタデータ) (2021-03-22T18:19:22Z) - Graph-PCNN: Two Stage Human Pose Estimation with Graph Pose Refinement [54.29252286561449]
グラフPCNNと呼ばれる2段階のグラフベースおよびモデルに依存しないフレームワークを提案する。
第1段階では、粗局化結果を得るために熱マップ回帰ネットワークを適用し、ガイドポイントと呼ばれる一連の提案キーポイントをサンプリングする。
第2段階では、各案内点について、ローカライゼーションにより異なる視覚特徴を抽出する。
ガイドされた点間の関係は、より正確なローカライゼーション結果を得るためにグラフポーズ精製モジュールによって探索される。
論文 参考訳(メタデータ) (2020-07-21T04:59:15Z) - Bottom-Up Human Pose Estimation by Ranking Heatmap-Guided Adaptive
Keypoint Estimates [76.51095823248104]
キーポイント検出とグループ化(キーポイント回帰)性能を改善するために,これまでにほとんど,あるいはまったく研究されていないいくつかのスキームを提案する。
まず,画素単位のキーポイントレグレッションに対して,キーポイントのリグレッションを改善するために分離する代わりに,キーポイントのヒートマップを利用する。
第2に、スケールと向きの分散を扱うための適応表現を学習するために、画素単位の空間変換器ネットワークを採用する。
第3に,真のポーズとなる確率の高い推定ポーズを促進するために,結合形状と熱値評価手法を提案する。
論文 参考訳(メタデータ) (2020-06-28T01:14:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。