論文の概要: DistilPose: Tokenized Pose Regression with Heatmap Distillation

• arxiv url: http://arxiv.org/abs/2303.02455v2
• Date: Wed, 8 Mar 2023 05:44:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 16:41:20.857118
• Title: DistilPose: Tokenized Pose Regression with Heatmap Distillation
• Title（参考訳）: DistilPose:ヒートマップ蒸留によるトークン化ポス回帰
• Authors: Suhang Ye, Yingyi Zhang, Jie Hu, Liujuan Cao, Shengchuan Zhang, Lei Shen, Jun Wang, Shouhong Ding, Rongrong Ji
• Abstract要約: 本研究では,熱マップに基づく手法と回帰に基づく手法のギャップを埋める,DistilPoseと呼ばれる新しいポーズ推定フレームワークを提案する。 DistilPoseは、教師モデル(ヒートマップベース)から生徒モデル(レグレッションベース)への知識伝達を、Token-distilling (TDE) と Simulated Heatmaps を通じて最大化する。
• 参考スコア（独自算出の注目度）: 81.21273854769765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of human pose estimation, regression-based methods have been dominated in terms of speed, while heatmap-based methods are far ahead in terms of performance. How to take advantage of both schemes remains a challenging problem. In this paper, we propose a novel human pose estimation framework termed DistilPose, which bridges the gaps between heatmap-based and regression-based methods. Specifically, DistilPose maximizes the transfer of knowledge from the teacher model (heatmap-based) to the student model (regression-based) through Token-distilling Encoder (TDE) and Simulated Heatmaps. TDE aligns the feature spaces of heatmap-based and regression-based models by introducing tokenization, while Simulated Heatmaps transfer explicit guidance (distribution and confidence) from teacher heatmaps into student models. Extensive experiments show that the proposed DistilPose can significantly improve the performance of the regression-based models while maintaining efficiency. Specifically, on the MSCOCO validation dataset, DistilPose-S obtains 71.6% mAP with 5.36M parameter, 2.38 GFLOPs and 40.2 FPS, which saves 12.95x, 7.16x computational cost and is 4.9x faster than its teacher model with only 0.9 points performance drop. Furthermore, DistilPose-L obtains 74.4% mAP on MSCOCO validation dataset, achieving a new state-of-the-art among predominant regression-based models.
• Abstract（参考訳）: 人間のポーズ推定の分野では、回帰に基づく手法は速度の点で支配的であり、ヒートマップに基づく手法は性能の面ではるかに優れている。 両方のスキームを利用する方法はまだ難しい問題だ。 本稿では,熱マップに基づく手法と回帰に基づく手法のギャップを埋める,DistolPoseと呼ばれる新しいポーズ推定フレームワークを提案する。 具体的には,教師モデル(ヒートマップベース)から生徒モデル(レグレッションベース)への知識伝達を,Token-distilling Encoder (TDE) と Simulated Heatmaps を通じて最大化する。 TDEはトークン化を導入することで、ヒートマップと回帰モデルの特徴空間を整列させ、シミュレートされたヒートマップは教師のヒートマップから学生モデルへの明示的なガイダンス(分布と信頼)を伝達する。 広範な実験により, 提案手法は, 効率を維持しつつ, 回帰モデルの性能を著しく向上できることがわかった。 具体的には、MSCOCO検証データセットにおいて、DistilPose-Sは71.6%のmAPを5.36Mパラメータ、2.38 GFLOP、40.2 FPSで取得し、12.95x、7.16倍の計算コストを節約し、0.9ポイントのパフォーマンス低下しか持たない教師モデルよりも4.9倍高速である。 さらに、DistilPose-LはMSCOCO検証データセット上で74.4%のmAPを取得し、主要な回帰モデルの中で新しい最先端のモデルを実現する。

関連論文リスト

• Denoising and Selecting Pseudo-Heatmaps for Semi-Supervised Human Pose Estimation [38.97427474379367]
  ラベルのないデータから学習するターゲットとして,信頼度の高い擬似熱マップを生成するための認知スキームを導入する。 評価された学生間の不確実性によって導かれる擬似熱マップから学習対象を選択する。 提案手法は,従来の半教師付きポーズ推定装置よりも優れていた。
  論文  参考訳（メタデータ） (2023-09-29T19:17:30Z)
• Learning Structure-Guided Diffusion Model for 2D Human Pose Estimation [71.24808323646167]
  ニューラルネットワークを用いてキーポイントのヒートマップを学習するための新しいスキームである textbfDiffusionPose を提案する。 トレーニング中、キーポイントはノイズを加えることでランダム分布に拡散され、拡散モデルはノイズ付きヒートマップから地中構造熱マップを復元する。 実験では、広く使用されているCOCO、CrowdPose、AI Challengeデータセット上で1.6、1.2、1.2mAPの改善による、私たちのスキームの長所が示されている。
  論文  参考訳（メタデータ） (2023-06-29T16:24:32Z)
• Poseur: Direct Human Pose Regression with Transformers [119.79232258661995]
  単一画像からの2次元人間のポーズ推定に対する直接回帰に基づくアプローチを提案する。 私たちのフレームワークはエンドツーエンドの差別化が可能で、キーポイント間の依存関係を自然に活用することを学びます。 我々のアプローチは、最も優れたヒートマップベースのポーズ推定手法と比較して好意的に機能する最初の回帰ベースのアプローチである。
  論文  参考訳（メタデータ） (2022-01-19T04:31:57Z)
• Rethinking Keypoint Representations: Modeling Keypoints and Poses as Objects for Multi-Person Human Pose Estimation [79.78017059539526]
  本研究では,個々のキーポイントと空間的関連キーポイント(ポーズ)の集合を,密集した単一ステージアンカーベース検出フレームワーク内のオブジェクトとしてモデル化する,新しいヒートマップフリーなキーポイント推定手法を提案する。 実験では, KAPAOは従来手法よりもはるかに高速かつ高精度であり, 熱マップ後処理に悩まされていた。 我々の大規模モデルであるKAPAO-Lは、テスト時間拡張なしでMicrosoft COCO Keypoints検証セット上で70.6のAPを達成する。
  論文  参考訳（メタデータ） (2021-11-16T15:36:44Z)
• Human Pose Regression with Residual Log-likelihood Estimation [48.30425850653223]
  本稿では,Residual Log-likelihood Estimation (RLE) を用いた新たな回帰パラダイムを提案する。 RLEは、トレーニングプロセスを容易にするために、未参照の基盤となる分布ではなく、分布の変化を学習する。 従来の回帰パラダイムと比較して、RLEによる回帰はテスト時間オーバーヘッドを伴わずに、MSCOCOに12.4mAPの改善をもたらす。
  論文  参考訳（メタデータ） (2021-07-23T15:06:31Z)
• Graph-PCNN: Two Stage Human Pose Estimation with Graph Pose Refinement [54.29252286561449]
  グラフPCNNと呼ばれる2段階のグラフベースおよびモデルに依存しないフレームワークを提案する。 第1段階では、粗局化結果を得るために熱マップ回帰ネットワークを適用し、ガイドポイントと呼ばれる一連の提案キーポイントをサンプリングする。 第2段階では、各案内点について、ローカライゼーションにより異なる視覚特徴を抽出する。 ガイドされた点間の関係は、より正確なローカライゼーション結果を得るためにグラフポーズ精製モジュールによって探索される。
  論文  参考訳（メタデータ） (2020-07-21T04:59:15Z)
• A Transfer Learning approach to Heatmap Regression for Action Unit intensity estimation [50.261472059743845]
  アクション・ユニット(英: Action Units、AUs)は、幾何学に基づく原子性顔面筋運動である。 本稿では,その位置と強度を共同で推定する新しいAUモデリング問題を提案する。 ヒートマップは、所定の空間的位置でAUが発生するか否かをモデル化する。
  論文  参考訳（メタデータ） (2020-04-14T16:51:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。