論文の概要: Evaluation-oriented Knowledge Distillation for Deep Face Recognition

• arxiv url: http://arxiv.org/abs/2206.02325v1
• Date: Mon, 6 Jun 2022 02:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 16:16:50.208484
• Title: Evaluation-oriented Knowledge Distillation for Deep Face Recognition
• Title（参考訳）: 深層顔認識のための評価指向知識蒸留
• Authors: Yuge Huang, Jiaxiang Wu, Xingkun Xu, Shouhong Ding
• Abstract要約: 本研究では,教師モデルと学生モデルのパフォーマンスギャップを直接軽減するために,深層顔認識のための新しい評価指向KD法を提案する。 EKDは顔認識において一般的に用いられる評価指標、すなわち偽陽性率(FPR)と真陽性率(TPR)をパフォーマンス指標として用いている。
• 参考スコア（独自算出の注目度）: 19.01023156168511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) is a widely-used technique that utilizes large networks to improve the performance of compact models. Previous KD approaches usually aim to guide the student to mimic the teacher's behavior completely in the representation space. However, such one-to-one corresponding constraints may lead to inflexible knowledge transfer from the teacher to the student, especially those with low model capacities. Inspired by the ultimate goal of KD methods, we propose a novel Evaluation oriented KD method (EKD) for deep face recognition to directly reduce the performance gap between the teacher and student models during training. Specifically, we adopt the commonly used evaluation metrics in face recognition, i.e., False Positive Rate (FPR) and True Positive Rate (TPR) as the performance indicator. According to the evaluation protocol, the critical pair relations that cause the TPR and FPR difference between the teacher and student models are selected. Then, the critical relations in the student are constrained to approximate the corresponding ones in the teacher by a novel rank-based loss function, giving more flexibility to the student with low capacity. Extensive experimental results on popular benchmarks demonstrate the superiority of our EKD over state-of-the-art competitors.
• Abstract（参考訳）: 知識蒸留(KD)は、大規模ネットワークを利用してコンパクトモデルの性能を向上させる技術である。 従来のkdアプローチは、通常、生徒に表象空間における教師の行動を完全に模倣するよう指導することを目的としている。 しかし、このような1対1の制約は、教師から生徒、特にモデル能力の低い生徒への柔軟な知識伝達につながる可能性がある。 KD手法の究極的な目標に触発されて,教師と学生の訓練におけるパフォーマンスギャップを直接軽減する,深層顔認識のための評価指向型KD法(EKD)を提案する。 具体的には、顔認識において一般的に用いられる評価指標、すなわち偽陽性率(FPR)と真陽性率(TPR)をパフォーマンス指標として採用する。 評価プロトコルによれば、教師モデルと学生モデルとのTPRとFPRの違いを引き起こす臨界ペア関係が選択される。 そして、生徒の批判的関係は、新しいランクに基づく損失関数によって教師の対応する関係を近似することを制約し、低能力の生徒により高い柔軟性を与える。 人気ベンチマークの大規模な実験結果は、最先端の競合相手よりもEKDの方が優れていることを示している。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Linear Projections of Teacher Embeddings for Few-Class Distillation [14.99228980898161]
  知識蒸留(KD)は、より大規模で複雑な教師モデルからより小さな学生モデルへ知識を移行するための有望なアプローチとして登場した。 学習埋め込み線形射影(LELP)と呼ばれる教師のモデル表現から知識を抽出する新しい手法を提案する。 Amazon ReviewsやSentiment140のような大規模NLPベンチマークの実験的な評価では、LELPはバイナリや少数クラスの問題に対する既存の最先端蒸留アルゴリズムと一貫して競合し、典型的には優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-30T16:07:34Z)
• Relational Representation Distillation [6.24302896438145]
  本稿では,教師モデルと学生モデルの関係を探求し,強化するためにRepresentation Distillation (RRD)を導入する。 自己監督学習の原則に触発されて、正確な複製と類似性に焦点を当てた、リラックスした対照的な損失を使用する。 我々は,CIFAR-100とImageNet ILSVRC-2012において優れた性能を示し,KDと組み合わせた場合,教師ネットワークよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-16T14:56:13Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• Learning to Teach with Student Feedback [67.41261090761834]
  対話的知識蒸留 (Interactive Knowledge Distillation, IKD) は、教師が生徒のフィードバックから教えることを学ぶことを可能にする。 IKDは教師モデルを訓練し、特定の学生のトレーニングステップごとに特定のソフトターゲットを生成する。 教師と生徒の協調的な最適化は2つの反復的なステップによって達成される。
  論文  参考訳（メタデータ） (2021-09-10T03:01:01Z)
• ProxylessKD: Direct Knowledge Distillation with Inherited Classifier for Face Recognition [84.49978494275382]
  知識蒸留(KD)とは、大きなモデルから小さなモデルに知識を移すことである。 本研究では,顔認識におけるその応用に焦点を当てる。 本稿では,顔認識の精度を直接最適化するProxylessKDを提案する。
  論文  参考訳（メタデータ） (2020-10-31T13:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。