論文の概要: Orderly Dual-Teacher Knowledge Distillation for Lightweight Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2104.10414v1
• Date: Wed, 21 Apr 2021 08:50:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 14:36:33.746368
• Title: Orderly Dual-Teacher Knowledge Distillation for Lightweight Human Pose Estimation
• Title（参考訳）: ライトウェイト・ヒューマン・ポース推定のための双対教師知識蒸留法
• Authors: Zhong-Qiu Zhao, Yao Gao, Yuchen Ge and Weidong Tian
• Abstract要約: そこで我々は,異なる能力を持つ2人の教師からなる,秩序ある二重教師知識蒸留(ODKD)フレームワークを提案する。 両教師をまとめて、知識の吸収性を促進するための秩序ある学習戦略を提案する。 提案するodkdは異なる軽量モデルの性能を大きなマージンで向上させ,hrnet-w16は軽量なポーズ推定のための最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 1.0323063834827415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although deep convolution neural networks (DCNN) have achieved excellent performance in human pose estimation, these networks often have a large number of parameters and computations, leading to the slow inference speed. For this issue, an effective solution is knowledge distillation, which transfers knowledge from a large pre-trained network (teacher) to a small network (student). However, there are some defects in the existing approaches: (I) Only a single teacher is adopted, neglecting the potential that a student can learn from multiple teachers. (II) The human segmentation mask can be regarded as additional prior information to restrict the location of keypoints, which is never utilized. (III) A student with a small number of parameters cannot fully imitate heatmaps provided by datasets and teachers. (IV) There exists noise in heatmaps generated by teachers, which causes model degradation. To overcome these defects, we propose an orderly dual-teacher knowledge distillation (ODKD) framework, which consists of two teachers with different capabilities. Specifically, the weaker one (primary teacher, PT) is used to teach keypoints information, the stronger one (senior teacher, ST) is utilized to transfer segmentation and keypoints information by adding the human segmentation mask. Taking dual-teacher together, an orderly learning strategy is proposed to promote knowledge absorbability. Moreover, we employ a binarization operation which further improves the learning ability of the student and reduces noise in heatmaps. Experimental results on COCO and OCHuman keypoints datasets show that our proposed ODKD can improve the performance of different lightweight models by a large margin, and HRNet-W16 equipped with ODKD achieves state-of-the-art performance for lightweight human pose estimation.
• Abstract（参考訳）: 深層畳み込みニューラルネットワーク(DCNN)は人間のポーズ推定において優れた性能を達成しているが、これらのネットワークには多くのパラメータと計算能力があり、推論速度は遅い。 この問題に対する効果的な解決策は知識蒸留であり、知識を大きな事前訓練されたネットワーク(教師)から小さなネットワーク(学生)に転送する。 しかし、既存のアプローチにはいくつかの欠点がある: (I) 一人の教師のみが採用され、学生が複数の教師から学べる可能性を無視している。 (II)人間のセグメンテーションマスクは、キーポイントの位置を制限する追加の事前情報とみなすことができ、使用されない。 (iii)パラメータの少ない生徒は、データセットや教師が提供するヒートマップを完全に模倣することはできない。 (IV)教師が生成したヒートマップにはノイズがあり、モデル劣化を引き起こす。 これらの欠陥を克服するために,異なる能力を持つ2人の教師からなる秩序ある二重教師知識蒸留(ODKD)フレームワークを提案する。 具体的には、弱者(第一教師、pt)がキーポイント情報を教えるために使用され、強者(上級教師、st)が人間のセグメンテーションマスクを付加してセグメンテーションやキーポイント情報を転送する。 両教師をまとめて、知識吸収性を促進するための秩序ある学習戦略を提案する。 さらに,学生の学習能力をさらに向上させ,ヒートマップのノイズを低減する2値化演算を採用する。 COCOおよびOCHumanキーポイントデータセットによる実験結果から,提案したODKDは,異なる軽量モデルの性能を大きなマージンで向上できることが示された。

関連論文リスト

• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)
• RdimKD: Generic Distillation Paradigm by Dimensionality Reduction [16.977144350795488]
  知識蒸留(KD)は、リソース制限されたデバイス上で高度なディープニューラルネットワークを実行する最も有望な圧縮技術のひとつである。 本研究では,DIMensionality Reduction KD(RdimKD)と呼ばれる,KDタスクの抽象的,汎用的なパラダイムを提案する。 RdimKD は次元の減少にのみ依存しており、L2 の損失に非常に小さな修正を加えている。
  論文  参考訳（メタデータ） (2023-12-14T07:34:08Z)
• Effective Whole-body Pose Estimation with Two-stages Distillation [52.92064408970796]
  全体ポーズ推定は、画像内の人体、手、顔、足のキーポイントをローカライズする。 textbfWhole-body textbfPose 推定器の2段階ポーズ textbfDistillation を提案し,その有効性と効率性について検討した。
  論文  参考訳（メタデータ） (2023-07-29T03:49:28Z)
• Cross Architecture Distillation for Face Recognition [49.55061794917994]
  本研究では,教師にプロンプトを組み込むことで,蒸留専門知識の管理を可能にする適応型プロンプト教師ネットワーク(APT)を開発した。 一般的な顔のベンチマークと2つの大規模な検証セットによる実験は,本手法の優位性を実証している。
  論文  参考訳（メタデータ） (2023-06-26T12:54:28Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Knowledge Distillation with Deep Supervision [6.8080936803807734]
  本研究では,教師モデルのクラス予測と特徴マップをフル活用し,浅層学習モデルの指導を監督する深層学習知識蒸留(DSKD)を提案する。 DSKDでは、各浅い層の学習過程を適応的にバランスさせ、学生のパフォーマンスをさらに向上するため、損失に基づく重み付け戦略が開発されている。
  論文  参考訳（メタデータ） (2022-02-16T03:58:21Z)
• Online Knowledge Distillation for Efficient Pose Estimation [37.81478634850458]
  一段階的に人間の詩構造知識を蒸留し,新しいオンライン知識蒸留フレームワークについて検討する。 OKDHPは単一のマルチブランチネットワークをトレーニングし、予測されたヒートマップをそれぞれ取得する。 画素ワイドのKullback-Leibler分散を利用して、対象ヒートマップと予測値との差を最小限に抑える。
  論文  参考訳（メタデータ） (2021-08-04T14:49:44Z)
• Boosting Light-Weight Depth Estimation Via Knowledge Distillation [21.93879961636064]
  本稿では,最小限の計算資源を用いて深度マップを正確に推定できる軽量ネットワークを提案する。 モデル複雑性を最大に低減するコンパクトなモデルアーキテクチャを設計することで、これを実現する。 本手法は, パラメータの1%しか使用せず, 最先端手法に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2021-05-13T08:42:42Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。