論文の概要: Anti-Shortcut Distillation via Temporal Negative Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2608.11789v2
- Date: Thu, 13 Aug 2026 08:55:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 14:00:09.8228
- Title: Anti-Shortcut Distillation via Temporal Negative Knowledge Transfer
- Title（参考訳）: 時間的負の知識伝達による抗ショートカット蒸留
- Abstract要約: textbfAnti-textbfShortcut textbfDistillation (ASD)は、収束した教師である$Tfinal$を正のセマンティックアンカーとして扱い、早期チェックポイントの教師である$Tearly$を時間的負の参照として扱うプッシュプルKDフレームワークである。
ASDは10組以上のペアで最高クリーニングトップ1の精度を獲得し、12の標準KDを上回っている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation (KD) trains a compact student by attracting it towards a converged teacher. It is silent about which directions the teacher itself learned to suppress: repulsive and bias-aware objectives exist, but none exploits the teacher's own trajectory to identify what the student should avoid. We observe that the missing signal is already encoded in the teacher's optimization trajectory: features that an early-stage teacher emphasizes but that a converged teacher attenuates are precisely the shortcut directions worth pushing the student away from. We instantiate this observation as \textbf{A}nti-\textbf{S}hortcut \textbf{D}istillation (ASD), a push--pull KD framework that treats the converged teacher $\Tfinal$ as a positive semantic anchor and an early-checkpoint teacher $\Tearly$ as a temporal negative reference. ASD couples two losses: a temporal contrastive loss ($\Ltc$) that places the early-teacher feature as a same-sample negative against in-batch and memory-bank final-teacher features in an InfoNCE objective; and a shortcut suppression loss ($\Lss$) that penalizes student projection onto the top eigenvectors of $\E[\Dh\Dh^{\top}]$, the uncentered second-moment matrix of early-to-final feature displacements. Across 13 teacher--student pairs on CIFAR-100, ImageNet-100, and TinyImageNet, ASD attains the highest clean top-1 accuracy on more than 10 pairs and outperforms standard KD on 12. On CIFAR-100-C corruption robustness, ASD obtains the lowest mean Corruption Error ($86.1$\,mCE) on the most challenging cross-architecture pair (WRN-40-2$\to$ShuffleNet-V2). Mechanistic diagnostics confirm the intended geometry: the ASD student is systematically anti-aligned with the shortcut direction, while its projection onto the robust subspace is substantially larger ($0.45$ vs.\ $0.12$).
- Abstract（参考訳）: 知識蒸留(KD)は、生徒を収束した教師に誘惑して訓練する。
反発的かつ偏見に敏感な目的が存在するが、生徒が避けるべき方向を特定するために教師自身の軌道を利用するものは存在しない。
早期教師が強調する特徴であるが、収束した教師の減衰は、生徒を遠ざける価値のあるショートカット方向である。
我々は、この観察を、時間的負の参照として、収束した教師 $\Tfinal$ と早期チェックポイントの教師 $\Tearly$ を治療するプッシュプル KD フレームワークである \textbf{A}nti-\textbf{S}hortcut \textbf{D}istillation (ASD) としてインスタンス化する。
ASDは2つの損失を伴っている: 時間的対照的な損失(\Ltc$) 早期教師機能はInfoNCEの目的のバッチ内およびメモリバンクのファイナルティーチンガー機能に対して同じサンプルの負の値として配置する 短期的損失(\Lss$) と、学生が最上位の固有ベクトルへの投影をペナル化するショートカット抑制損失(\Lss$) と、初期から最終の特徴変位の非中心の2番目のモーメント行列である。
CIFAR-100、ImageNet-100、TinyImageNetの13組の教師-学生ペアの中で、ASDは10組以上のペアで最高にクリーンなトップ1の精度を獲得し、12の標準KDを上回っている。
CIFAR-100-C の破壊堅牢性について、ASD は最も困難なクロスアーキテクチャペア (WRN-40-2$\to$ShuffleNet-V2) 上で、最低平均破壊エラー (86.1$\,mCE) を得る。
ASD学生は体系的にショートカット方向と一致し、ロバストな部分空間への射影はかなり大きい(0.45ドル対)。
0.12ドル。
関連論文リスト
- Knowledge Distillation under Teacher Misspecification: An Order-Parameter Analysis of the Gap between Teacher Mimicry and Task Performance [2.234476443495425]
最小限の3要素モデルでこれらの2つの目的の関係について検討する。
学習力学と蒸留誤差$Ets$が$dmiss$と正確に不変であることを証明する。
論文 参考訳（メタデータ） (2026-08-29T23:57:46Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - ADS-C: Antidistillation Sampling for Classification [1.1458853556386797]
大規模言語モデルでは, 消毒サンプリングが提案されている。
我々は,その行動が教師一人当たりの信頼率の分布によって支配されていることを示す。
ADS-C法は, 実用コストが全くゼロな分類法としては, 初めての抗蒸留防御法である。
論文 参考訳（メタデータ） (2026-07-16T21:33:37Z) - Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。
特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。
我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
論文 参考訳（メタデータ） (2026-07-07T23:16:19Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - SGD-Based Knowledge Distillation with Bayesian Teachers: Theory and Guidelines [82.00660447875266]
知識蒸留(英: Knowledge Distillation, KD)は、大きな教師ネットワークから、しばしばソフト確率出力を利用して、より小さな学生モデルに知識を伝達する中心的なパラダイムである。
グラディエント・Descent (SGD) を訓練した学生の収束行動の厳密に分析する。
分析の結果,BCPからの学習は分散の低減と収束境界の近傍項の除去に寄与することがわかった。
これらの知見に触発されて、我々は、通常、KDの教師として、BCPの見積もりを改善するベイズ深層学習モデルの使用を提唱する。
論文 参考訳（メタデータ） (2026-01-04T11:09:49Z) - CrossKD: Cross-Head Knowledge Distillation for Object Detection [69.16346256926842]
知識蒸留(KD)は、コンパクト物体検出器の学習に有効なモデル圧縮技術として検証されている。
そこで本研究では,学生の検知ヘッドの中間的特徴を教師の検知ヘッドに伝達する,CrossKDと呼ばれる蒸留方式を模倣する予測手法を提案する。
われわれのCrossKDはGFL ResNet-50の平均精度を40.2から43.7に向上させ、既存のKD手法を上回ります。
論文 参考訳（メタデータ） (2023-06-20T08:19:51Z) - Cycle Self-Training for Semi-Supervised Object Detection with
Distribution Consistency Reweighting [16.63549313217797]
半教師対象検出(SSOD)のためのCST(Cycle Self-Training)フレームワークを提案する。
CSTは2人の教師T1とT2と2人の学生S1とS2で構成され、これらのネットワークに基づいてサイクル自己学習機構を構築する。
実験では、ベースラインよりもAPを一貫して改善し、ラベル付きデータが少ない状態で2.1%の絶対AP改善を達成し、CSTの優位性を証明している。
論文 参考訳（メタデータ） (2022-07-12T06:16:48Z) - Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。
より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
論文 参考訳（メタデータ） (2020-06-23T15:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。