論文の概要: Discovering and Preserving Category Correlation Knowledge via Adaptive Reciprocal Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2609.13199v1
• Date: Fri, 14 Aug 2026 02:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.653184
• Title: Discovering and Preserving Category Correlation Knowledge via Adaptive Reciprocal Knowledge Distillation
• Title（参考訳）: 適応的相互知識蒸留によるカテゴリー相関知識の発見と保存
• Abstract要約: 適応的相互知識蒸留(AR-KD)は,教師の出力分布を簡素化して知識伝達を改善する新しい手法である。 AR-KDは、そのクラス相関行列と生徒の関係表現とをマッチングすることにより、教師に対して相互適応を行う。 CIFAR-100とImageNet-1kの分類データセットを用いたAR-KDの評価を行った。
• 参考スコア（独自算出の注目度）: 6.296390886486258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation aims to improve the performance of lightweight student models by transferring knowledge from larger and more powerful teacher models. However, a substantial size gap between teacher and student models often impedes effective knowledge transfer. Most existing approaches adopt a static, one-way teacher-to-student distillation paradigm, which overlooks the dynamic nature of student learning and fails to provide targeted guidance on hard samples. In this paper, we propose adaptive reciprocal knowledge distillation (AR-KD), a novel method that improves knowledge transfer by simplifying the teacher's output distribution. Specifically, AR-KD performs reciprocal adaptation on the teacher by matching its class correlation matrix to the student's relational representation, which reshapes the teacher's prediction structure to better suit the student's capacity. This relational alignment mitigates the collapse of inter-class dark knowledge caused by overconfident teachers, enabling the student to learn from richer and more compatible supervisory signals. We evaluate AR-KD on CIFAR-100 and ImageNet-1k classification datasets, where it outperforms state-of-the-art knowledge distillation baselines. Specifically, AR-KD improves student performance across homogeneous and heterogeneous setups: up to 7.13% accuracy gain for students, 1.42% to 4.15% higher than vanilla KD on average, and further improvements when integrated with other advanced methods. Our code is available at https://anonymous.4open.science/r/ARKD/.
• Abstract（参考訳）: 知識蒸留は、より大きく強力な教師モデルからの知識を伝達することで、軽量な学生モデルの性能を向上させることを目的としている。 しかし、教師モデルと学生モデルの間の大きなギャップは、しばしば効果的な知識伝達を妨げる。 既存のほとんどのアプローチでは、学生の学習のダイナミックな性質を見落とし、ハードサンプルをターゲットとしたガイダンスの提供に失敗する静的な、一方的な教師から学生への蒸留パラダイムを採用しています。 本稿では,教師の出力分布を簡略化して知識伝達を改善する手法として,適応的相互知識蒸留(AR-KD)を提案する。 具体的には、AR-KDは、教師の予測構造が生徒の能力に合うように、そのクラス相関行列と生徒の関係表現とを一致させることで、教師の相互適応を行う。 このリレーショナルアライメントは、自信過剰な教師によって引き起こされるクラス間ダークナレッジの崩壊を緩和し、よりリッチで互換性のある監視信号から学生が学ぶことを可能にする。 CIFAR-100とImageNet-1kの分類データセットを用いたAR-KDの評価を行った。 具体的には、AR-KDは、学生の7.13%の精度向上、バニラKDの平均1.42%から4.15%の精度向上、他の先進的な手法との統合によるさらなる改善など、同種および異種構成における生徒のパフォーマンスの向上を図っている。 私たちのコードはhttps://anonymous.4open.science/r/ARKD/で利用可能です。

関連論文リスト

• Context-Aware Knowledge Distillation with Adaptive Weighting for Image Classification [0.33842793760651557]
  アダプティブ・ナレッジ蒸留(Adaptive Knowledge Distillation, AKD)は、大規模教師ネットワークからより小さな学生モデルへ知識を伝達する技術である。 トレーニング中に自動的に学習し、最適化できる、学習可能なパラメータとしてアルファを作成します。 提案手法は, 固定重KDベースラインよりも精度が高く, より安定な収束性が得られる。
  論文  参考訳（メタデータ） (2025-08-30T09:18:46Z)
• Adaptive Explicit Knowledge Transfer for Knowledge Distillation [17.739979156009696]
  教師モデルから,非目標クラスの確率分布を効果的に提供することにより,ロジットに基づく知識蒸留の性能を向上させることができることを示す。 本研究では,学習者が暗黙的な知識を適応的に学習できる新たな損失を提案する。 実験結果から, 適応的明示的知識伝達法(AEKT)は, 最先端KD法と比較して性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-03T07:42:59Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。