論文の概要: CoupleFace: Relation Matters for Face Recognition Distillation

• arxiv url: http://arxiv.org/abs/2204.05502v1
• Date: Tue, 12 Apr 2022 03:25:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-14 02:31:56.146650
• Title: CoupleFace: Relation Matters for Face Recognition Distillation
• Title（参考訳）: CoupleFace: 顔認識蒸留における関係性
• Authors: Jiaheng Liu, Haoyu Qin, Yichao Wu, Jinyang Guo, Ding Liang, Ke Xu
• Abstract要約: 本稿では,CoupleFaceと呼ばれる効果的な顔認識蒸留法を提案する。 まず,情報的相互関係を抽出し,教師モデルの相互関係知識を学生モデルに伝達するために,関係意識蒸留(RAD)損失を導入することを提案する。 提案したCoupleFaceに基づいて,ICCV21 Masked Face Recognition Challenge (MS1M track)で優勝した。
• 参考スコア（独自算出の注目度）: 26.2626768462705
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Knowledge distillation is an effective method to improve the performance of a lightweight neural network (i.e., student model) by transferring the knowledge of a well-performed neural network (i.e., teacher model), which has been widely applied in many computer vision tasks, including face recognition. Nevertheless, the current face recognition distillation methods usually utilize the Feature Consistency Distillation (FCD) (e.g., L2 distance) on the learned embeddings extracted by the teacher and student models for each sample, which is not able to fully transfer the knowledge from the teacher to the student for face recognition. In this work, we observe that mutual relation knowledge between samples is also important to improve the discriminative ability of the learned representation of the student model, and propose an effective face recognition distillation method called CoupleFace by additionally introducing the Mutual Relation Distillation (MRD) into existing distillation framework. Specifically, in MRD, we first propose to mine the informative mutual relations, and then introduce the Relation-Aware Distillation (RAD) loss to transfer the mutual relation knowledge of the teacher model to the student model. Extensive experimental results on multiple benchmark datasets demonstrate the effectiveness of our proposed CoupleFace for face recognition. Moreover, based on our proposed CoupleFace, we have won the first place in the ICCV21 Masked Face Recognition Challenge (MS1M track).
• Abstract（参考訳）: 知識蒸留は、顔認識を含む多くのコンピュータビジョンタスクに広く応用されている、高性能ニューラルネットワーク(教師モデル)の知識を伝達することにより、軽量ニューラルネットワーク(学生モデル)の性能を向上させる効果的な方法である。 それにもかかわらず、現在の顔認識蒸留法では、教師および生徒モデルから抽出された学習埋め込みについて、通常、特徴的一貫性蒸留(fcd)(例えばl2距離)を用いて、各サンプルに対して、教師から生徒への知識を完全に移すことができない。 本研究では,学生モデルの学習表現の識別能力を高めるために,サンプル間の相互関係の知識も重要であることを考察し,既存の蒸留フレームワークに相互関係蒸留(MRD)を導入することで,カップルフェイスと呼ばれる効果的な顔認識蒸留法を提案する。 具体的には,まず,情報的相互関係を掘り起こし,その後,教師モデルの相互関係知識を学生モデルに移すために,関係認識蒸留(rad)損失を導入することを提案する。 複数のベンチマークデータセットにおける広範囲な実験結果から,提案手法が顔認識に有効であることを示す。 さらに,提案したCoupleFaceに基づいて,ICCV21 Masked Face Recognition Challenge (MS1M track)で優勝した。

関連論文リスト

• Distilling Generative-Discriminative Representations for Very Low-Resolution Face Recognition [19.634712802639356]
  非常に低解像度の顔認識は、分解能劣化における情報的な顔の詳細の欠如により困難である。 本稿では, 生成的表現とクロスレゾリューション・アライメント・アライメント・ナレッジ・蒸留を組み合わせた生成的識別的表現蒸留手法を提案する。 提案手法は, 極めて低解像度な面における詳細の欠落の回復を改善し, より優れた知識伝達を実現する。
  論文  参考訳（メタデータ） (2024-09-10T09:53:06Z)
• Cross Architecture Distillation for Face Recognition [49.55061794917994]
  本研究では,教師にプロンプトを組み込むことで,蒸留専門知識の管理を可能にする適応型プロンプト教師ネットワーク(APT)を開発した。 一般的な顔のベンチマークと2つの大規模な検証セットによる実験は,本手法の優位性を実証している。
  論文  参考訳（メタデータ） (2023-06-26T12:54:28Z)
• A Novel Self-Knowledge Distillation Approach with Siamese Representation Learning for Action Recognition [6.554259611868312]
  自己知識蒸留は、学生のパフォーマンスを高めるために、重いネットワーク(教師)から小さなネットワーク(学生)への知識の効果的な伝達である。 本稿では,シームズ表現学習による新しい自己知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-09-03T01:56:58Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Teacher-Student Training and Triplet Loss to Reduce the Effect of Drastic Face Occlusion [15.44796695070395]
  我々は、完全に視覚的な顔で訓練された畳み込みニューラルネットワーク(CNN)が、非常に低い性能レベルを示すことを示した。 隠蔽面上でのディープラーニングモデルの微調整は非常に有用であるが、完全可視面上で訓練されたモデルから知識を抽出することにより、さらなる性能向上が得られることを示す。 本研究の主な貢献は,三重項損失に基づく知識蒸留の新たなアプローチであり,モデルとタスクをまたいだ一般化である。
  論文  参考訳（メタデータ） (2021-11-20T11:13:46Z)
• ProxylessKD: Direct Knowledge Distillation with Inherited Classifier for Face Recognition [84.49978494275382]
  知識蒸留(KD)とは、大きなモデルから小さなモデルに知識を移すことである。 本研究では,顔認識におけるその応用に焦点を当てる。 本稿では,顔認識の精度を直接最適化するProxylessKDを提案する。
  論文  参考訳（メタデータ） (2020-10-31T13:14:34Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Residual Knowledge Distillation [96.18815134719975]
  本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。 このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。 提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-21T07:49:26Z)
• Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
  顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。 提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。 実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
  論文  参考訳（メタデータ） (2020-02-06T10:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。