論文の概要: Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition

• arxiv url: http://arxiv.org/abs/2508.11376v1
• Date: Fri, 15 Aug 2025 10:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.852022
• Title: Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition
• Title（参考訳）: 統合知識蒸留フレームワーク:深部顔認識のための微粒配位と幾何学的関係保存
• Authors: Durgesh Mishra, Rishabh Uikey,
• Abstract要約: 本稿では,2つの新しい損失関数,インスタンスレベル埋め込み蒸留と関係性に基づくペアワイド類似蒸留を統合した統一的なアプローチを提案する。 筆者らのフレームワークは,複数のベンチマーク顔認識データセットにおいて,最先端の蒸留法より優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Distillation is crucial for optimizing face recognition models for deployment in computationally limited settings, such as edge devices. Traditional KD methods, such as Raw L2 Feature Distillation or Feature Consistency loss, often fail to capture both fine-grained instance-level details and complex relational structures, leading to suboptimal performance. We propose a unified approach that integrates two novel loss functions, Instance-Level Embedding Distillation and Relation-Based Pairwise Similarity Distillation. Instance-Level Embedding Distillation focuses on aligning individual feature embeddings by leveraging a dynamic hard mining strategy, thereby enhancing learning from challenging examples. Relation-Based Pairwise Similarity Distillation captures relational information through pairwise similarity relationships, employing a memory bank mechanism and a sample mining strategy. This unified framework ensures both effective instance-level alignment and preservation of geometric relationships between samples, leading to a more comprehensive distillation process. Our unified framework outperforms state-of-the-art distillation methods across multiple benchmark face recognition datasets, as demonstrated by extensive experimental evaluations. Interestingly, when using strong teacher networks compared to the student, our unified KD enables the student to even surpass the teacher's accuracy.
• Abstract（参考訳）: 知識蒸留は、エッジデバイスのような計算量に制限のある環境でのデプロイメントのために、顔認識モデルを最適化するために不可欠である。 Raw L2 Feature DistillationやFeature Consistency Losといった従来のKDメソッドは、粒度の細かいインスタンスレベルの詳細と複雑なリレーショナル構造の両方をキャプチャできず、最適化されたパフォーマンスをもたらす。 本稿では,2つの新しい損失関数,インスタンスレベル埋め込み蒸留と関係性に基づくペアワイド類似蒸留を統合した統一的なアプローチを提案する。 インスタンスレベル埋め込み蒸留は、動的ハードマイニング戦略を活用することで、個々の機能埋め込みの整合性を重視し、挑戦的な例から学ぶことを促進する。 リレーショナルベースペアワイズ類似度蒸留は、メモリバンク機構とサンプルマイニング戦略を用いて、ペアワイズ類似性関係を通して関係情報をキャプチャする。 この統合された枠組みにより、サンプル間の効果的なインスタンスレベルのアライメントと幾何学的関係の保存が保証され、より包括的な蒸留プロセスがもたらされる。 我々の統合されたフレームワークは、広範囲な実験的評価によって示されるように、複数のベンチマーク顔認識データセットにおける最先端の蒸留方法よりも優れている。 興味深いことに、学生に比べて強い教師ネットワークを使用する場合、我々の統合されたKDは教師の精度をさらに上回ることができる。

関連論文リスト

• Local Dense Logit Relations for Enhanced Knowledge Distillation [12.350115738581223]
  Local Logit Distillationはクラス間の関係をキャプチャし、Logit情報を再結合する。 臨界カテゴリー対の重みを動的に調整できる適応型デカイウェイト(ADW)戦略を導入する。 本手法は, きめ細かい知識を伝達し, もっとも重要な関係性を強調することによって, 生徒のパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-07-21T16:25:38Z)
• On Distilling the Displacement Knowledge for Few-Shot Class-Incremental Learning [17.819582979803286]
  FSCIL(Few-shot Class-Incremental Learning)は、データ分散の進化と、現実のシナリオにおけるデータ取得の難しさに対処する。 FSCILでよく見られる破滅的な忘れ事に対処するために、知識の蒸留は、学習されたデータ分布から知識を維持する方法として用いられる。
  論文  参考訳（メタデータ） (2024-12-15T02:10:18Z)
• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• Learning to Maximize Mutual Information for Chain-of-Thought Distillation [13.660167848386806]
  Distilling Step-by-Step(DSS)は、より大きなモデルよりも優れた推論能力を持つ小さなモデルを投入することで、約束を証明している。 しかし、DSSは2つのトレーニングタスクの本質的な関係を見落とし、CoT知識とラベル予測のタスクの非効率な統合につながる。 学習に基づく手法を用いて,この問題を解決するための変分手法を提案する。
  論文  参考訳（メタデータ） (2024-03-05T22:21:45Z)
• CORSD: Class-Oriented Relational Self Distillation [16.11986532440837]
  知識蒸留は、いくつかの制限を保ちながら効果的なモデル圧縮方法を実行する。 制約に対処するために,クラス指向自己蒸留(CORSD)という新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-28T16:00:31Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。