論文の概要: Cross Architecture Distillation for Face Recognition

• arxiv url: http://arxiv.org/abs/2306.14662v1
• Date: Mon, 26 Jun 2023 12:54:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 13:36:56.180593
• Title: Cross Architecture Distillation for Face Recognition
• Title（参考訳）: 顔認識のためのクロスアーキテクチャ蒸留
• Authors: Weisong Zhao, Xiangyu Zhu, Zhixiang He, Xiao-Yu Zhang, Zhen Lei
• Abstract要約: 本研究では,教師にプロンプトを組み込むことで,蒸留専門知識の管理を可能にする適応型プロンプト教師ネットワーク(APT)を開発した。 一般的な顔のベンチマークと2つの大規模な検証セットによる実験は,本手法の優位性を実証している。
• 参考スコア（独自算出の注目度）: 49.55061794917994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have emerged as the superior choice for face recognition tasks, but their insufficient platform acceleration hinders their application on mobile devices. In contrast, Convolutional Neural Networks (CNNs) capitalize on hardware-compatible acceleration libraries. Consequently, it has become indispensable to preserve the distillation efficacy when transferring knowledge from a Transformer-based teacher model to a CNN-based student model, known as Cross-Architecture Knowledge Distillation (CAKD). Despite its potential, the deployment of CAKD in face recognition encounters two challenges: 1) the teacher and student share disparate spatial information for each pixel, obstructing the alignment of feature space, and 2) the teacher network is not trained in the role of a teacher, lacking proficiency in handling distillation-specific knowledge. To surmount these two constraints, 1) we first introduce a Unified Receptive Fields Mapping module (URFM) that maps pixel features of the teacher and student into local features with unified receptive fields, thereby synchronizing the pixel-wise spatial information of teacher and student. Subsequently, 2) we develop an Adaptable Prompting Teacher network (APT) that integrates prompts into the teacher, enabling it to manage distillation-specific knowledge while preserving the model's discriminative capacity. Extensive experiments on popular face benchmarks and two large-scale verification sets demonstrate the superiority of our method.
• Abstract（参考訳）: トランスフォーマーは顔認識タスクに優れた選択肢として登場したが、その不十分なプラットフォームアクセラレーションは、モバイルデバイスへの応用を妨げている。 対照的に、畳み込みニューラルネットワーク(CNN)はハードウェア互換のアクセラレーションライブラリを活用している。 その結果, トランスフォーマティブ型教員モデルからcnnベースの学生モデルであるクロスアーキテクチャ知識蒸留(cakd)へ知識を移す際に, 蒸留効果を維持することが不可欠となった。 その可能性にもかかわらず、顔認識におけるCAKDの展開には2つの課題がある。 1)教師と学生は,各画素ごとに異なる空間情報を共有し,特徴空間のアライメントを阻害し, 2) 教員ネットワークは, 蒸留専門知識を扱う能力に欠ける教師の役割を訓練していない。 この2つの制約を克服するために 1) まず,教師と生徒の画素特徴を統一された受容場を持つ局所特徴にマッピングする統一受容場マッピングモジュール(URFM)を導入し,教師と生徒の画素単位の空間情報を同期させる。 その後 2) 教師にプロンプトを組み込むことで, モデルの識別能力を維持しながら, 蒸留特有の知識を管理できる適応型プロンプト教師ネットワーク(APT)を開発した。 一般的な顔のベンチマークと2つの大規模な検証セットに関する大規模な実験は,本手法の優位性を示している。

関連論文リスト

• Direct Distillation between Different Domains [97.39470334253163]
  異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。 まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。 次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
  論文  参考訳（メタデータ） (2024-01-12T02:48:51Z)
• Distilling Efficient Vision Transformers from CNNs for Semantic Segmentation [12.177329445930276]
  我々はC2VKDと呼ばれる新しいCNN-to-ViT KDフレームワークを提案する。 まず視覚的特徴蒸留(VLFD)モジュールを提案する。 そこで我々は,ラベルと教師の予測とを併用して学生を監督する,画素ワイド・デカップリング蒸留(PDD)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-10-11T07:45:37Z)
• Knowledge Distillation Layer that Lets the Student Decide [6.689381216751284]
  2つの異なる能力でKDを改善する学習可能なKD層を提案する。 一 教師の知識の活用の仕方を学び、ニュアンス情報を破棄し、及び、伝達された知識をより深めていくこと。
  論文  参考訳（メタデータ） (2023-09-06T09:05:03Z)
• Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
  単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-18T02:41:04Z)
• Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation for Scene Recognition [64.29650787243443]
  本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。 この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。 我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
  論文  参考訳（メタデータ） (2022-05-04T11:05:18Z)
• Distilling EEG Representations via Capsules for Affective Computing [14.67085109524245]
  カプセル型アーキテクチャを用いて脳波表現を蒸留する新しい知識蒸留パイプラインを提案する。 本フレームワークは,教師から効果的に学習できる圧縮率の異なる学生ネットワークを実現する。 この手法は2つのデータセットのうちの1つで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-04-30T22:04:35Z)
• Orderly Dual-Teacher Knowledge Distillation for Lightweight Human Pose Estimation [1.0323063834827415]
  そこで我々は,異なる能力を持つ2人の教師からなる,秩序ある二重教師知識蒸留(ODKD)フレームワークを提案する。 両教師をまとめて、知識の吸収性を促進するための秩序ある学習戦略を提案する。 提案するodkdは異なる軽量モデルの性能を大きなマージンで向上させ,hrnet-w16は軽量なポーズ推定のための最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-04-21T08:50:36Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• ProxylessKD: Direct Knowledge Distillation with Inherited Classifier for Face Recognition [84.49978494275382]
  知識蒸留(KD)とは、大きなモデルから小さなモデルに知識を移すことである。 本研究では,顔認識におけるその応用に焦点を当てる。 本稿では,顔認識の精度を直接最適化するProxylessKDを提案する。
  論文  参考訳（メタデータ） (2020-10-31T13:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。