論文の概要: Knowledge Distillation under Teacher Misspecification: An Order-Parameter Analysis of the Gap between Teacher Mimicry and Task Performance
- arxiv url: http://arxiv.org/abs/2608.29472v1
- Date: Sat, 29 Aug 2026 23:57:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.977101
- Title: Knowledge Distillation under Teacher Misspecification: An Order-Parameter Analysis of the Gap between Teacher Mimicry and Task Performance
- Title（参考訳）: 教師のミス種別による知識蒸留--教師のミスとタスクパフォーマンスのギャップのオーダーパラメータ分析
- Abstract要約: 最小限の3要素モデルでこれらの2つの目的の関係について検討する。
学習力学と蒸留誤差$Ets$が$dmiss$と正確に不変であることを証明する。
- 参考スコア（独自算出の注目度）: 2.234476443495425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation trains a small student model to reproduce the outputs of a large teacher model, and its progress is typically monitored through the teacher--student discrepancy. The quantity of ultimate interest, however, is the student's error with respect to the true task. We study the relation between these two objectives in a minimal three-party model, a true teacher (generative model), a teacher, and a student, all soft committee machines, in which the true teacher contains a shared latent factor that the teacher cannot represent, with mismatch strength controlled by a single scalar $\dmiss$. Within an order-parameter description of online distillation, and exploiting closed-form (arcsine-type) expressions for all errors under error-function activations, we prove that the learning dynamics and the distillation error $\Ets$ are exactly invariant to $\dmiss$, whereas the true error $\Etzs$ and the gap $Δ=\Etzs-\Ets$ are strictly increasing in $\dmiss$, with a rate that is amplified linearly by the complexity $M_0$ of the true teacher. Numerical phase diagrams over the plane spanned by true-teacher complexity and student capacity confirm the predicted deformation: the contours of $\Ets$ do not move while the landscape of $\Etzs$ rises systematically, and a teacher-miss regime, where mimicry succeeds but the task fails, expands with $\dmiss$. The results give a quantitative warning against evaluating distillation solely through teacher-mimicry metrics and identify the gap $Δ$ as a minimal diagnostic for distinguishing teacher-miss from capacity-limited failure.
- Abstract（参考訳）: 知識蒸留は、小さな学生モデルを訓練し、大きな教師モデルの出力を再現する。
しかし、究極的な関心の量は、真の課題に対する学生の誤りである。
本研究では,これら2つの目標の関係を,教師が表現できない共有潜在因子を含むソフトコミッショナーのモデル,真の教師(生成モデル),教師,学生の関係を,単一のスカラー$\dmiss$で制御されたミスマッチ強度を用いて検討する。
オンライン蒸留のオーダーパラメータ記述と、エラー関数のアクティベーションの下での全てのエラーに対するクローズドフォーム(アルシン型)式の利用により、学習ダイナミクスと蒸留エラー$\Ets$がちょうど$\dmiss$に不変であるのに対し、真のエラー$\Etzs$とギャップ$Δ=\Etzs-\Ets$は$\dmiss$に厳密に増加しており、真の教師の複雑さ$M_0$によって線形に増幅される。
例えば、$\Ets$の輪郭は動きませんが、$\Etzs$の風景は体系的に上昇します。
以上の結果から,教師・ミミミリメトリックスのみでの蒸留評価に対する定量的警告が得られ,そのギャップ$$$を,教師のミスとキャパシティ限定の失敗を識別するための最小限の診断として同定した。
関連論文リスト
- Anti-Shortcut Distillation via Temporal Negative Knowledge Transfer [0.0]
textbfAnti-textbfShortcut textbfDistillation (ASD)は、収束した教師である$Tfinal$を正のセマンティックアンカーとして扱い、早期チェックポイントの教師である$Tearly$を時間的負の参照として扱うプッシュプルKDフレームワークである。
ASDは10組以上のペアで最高クリーニングトップ1の精度を獲得し、12の標準KDを上回っている。
論文 参考訳（メタデータ） (2026-08-12T08:29:54Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - A Survey of On-Policy Distillation for Large Language Models [19.95776080082138]
この調査は、大規模言語モデル(LLM)のオン・ポリシィ蒸留に関する最初の包括的概要を提供する。
オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,emphfeedbackシグナル(ログベース,結果ベース,自己プレイ),emphteacherアクセス(ホワイトボックス,ブラックボックス,教師フリー),emphloss最小化(トケンレベル,シーケンスレベル,ハイブリッド)の3つの次元に沿ってランドスケープを整理する。
論文 参考訳（メタデータ） (2026-04-01T08:32:34Z) - Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。
P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。
複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
論文 参考訳（メタデータ） (2026-01-15T04:40:45Z) - Who Taught You That? Tracing Teachers in Model Distillation [23.566776089005963]
学生の先生はアウトプットに基づいて特定できますか?
本稿では, 要約, 質問応答, 指示追従を含む実作業蒸留の目標について検討する。
語彙的特徴を用いた識別モデルの設計を行う。
論文 参考訳（メタデータ） (2025-02-10T16:48:56Z) - Progressive distillation induces an implicit curriculum [44.528775476168654]
より良い教師は必ずしも良い生徒を産むとは限らない。
この原理を実証的に検証した1つの変種はプログレッシブ蒸留であり、そこで学生は教師の連続した中間チェックポイントから学習する。
スパースパリティをサンドボックスとして使用することにより、暗黙のカリキュラムをプログレッシブ蒸留によって学生の学習を加速させる1つのメカニズムとして認識する。
論文 参考訳（メタデータ） (2024-10-07T19:49:24Z) - Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
蒸留した学生の一般化行動について検討する。
この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。
オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
論文 参考訳（メタデータ） (2023-01-28T16:34:47Z) - Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。
知識蒸留は教師から知識を抽出し、対象モデルと統合する。
教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
論文 参考訳（メタデータ） (2022-05-04T06:49:47Z) - Teacher's pet: understanding and mitigating biases in distillation [61.44867470297283]
いくつかの研究により、蒸留によって学生の全体的なパフォーマンスが著しく向上することが示されている。
しかし、これらのゲインはすべてのデータサブグループに均一なのでしょうか?
蒸留が特定の部分群の性能に悪影響を及ぼすことを示す。
信頼性の低いサブグループに対して,教師の影響を和らげる手法を提案する。
論文 参考訳（メタデータ） (2021-06-19T13:06:25Z) - Distilling Double Descent [65.85258126760502]
蒸留とは、別の「教師」モデルでラベル付けされた例に基づいた「学生」モデルを訓練する技法である。
教師モデルが非常にパラメータ化されすぎている場合であっても、非常に大きな保持されていないラベル付きデータセットを使用することで、より"伝統的な"アプローチを上回るモデルが生まれます。
論文 参考訳（メタデータ） (2021-02-13T02:26:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。