論文の概要: The Gradient That Top-k Distillation Never Computes

• arxiv url: http://arxiv.org/abs/2610.15589v1
• Date: Sun, 11 Oct 2026 13:03:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:45:11.757626
• Title: The Gradient That Top-k Distillation Never Computes
• Title（参考訳）: トップk蒸留で計算できないグラディエント
• Abstract要約: 再正規化は、欠落した質量を考慮に入れていると仮定される。 移動の自由ではなく、尾の質量の視認性を排除していることを証明します。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many deployed distillation pipelines show the student a truncated view of the teacher: keep the top-k probabilities, renormalize, and minimize a divergence on what remains. Renormalization is assumed to account for the missing mass. We prove that it removes the visibility of tail mass, not the freedom to move it. The renormalized objective depends only on log-odds among the retained tokens, so at each position its gradient along the directions that control tail mass is exactly zero; on a real teacher that component measures $2$-$3\times10^{-15}$ of the gradient. The full-vocabulary gradient equals the truncated gradient plus a residual weighted by the tail masses, and training acts only on the first term. Without the cross-entropy term, a top-k student's tail mass drifts away from the teacher's while a full-vocabulary control moves slightly toward it; with it, the gap shrinks about fourfold but persists. On seven open-weight teachers, the retained set determines the teacher's distribution only from $k=d+1$ ($d$ the hidden dimension): recovery is exact from there on all seven, and commonly cached sizes sit below it. In our off-policy runs the practical effect is real but smaller than the choice of teacher-student pair. Renormalization is a normalization, not a safeguard. The code is available at https://github.com/KurbanIntelligenceLab/top-k-distillation.
• Abstract（参考訳）: 配置された蒸留パイプラインの多くは、生徒が教師の行き詰まった視界を示しており、トップkの確率を維持し、再正常化し、残っていたものに対するばらつきを最小限にしている。 再正規化は、欠落した質量を考慮に入れていると仮定される。 移動の自由ではなく、尾の質量の視認性を排除していることを証明します。 正規化対象は保持トークンの対数にのみ依存するため、各位置において、テール質量を制御する方向に沿った勾配が正確にゼロとなる。 全語彙勾配は、垂れ下がった勾配と尾の質量によって重み付けされた残留勾配に等しく、訓練は第一項のみに作用する。 クロスエントロピーの用語がなければ、トップkの生徒の尾の質量は教師から遠ざかるが、フルボキャブラリの制御はわずかに教師に向かって動く。 7つのオープンウェイトな教師に対して、保持されたセットは、教師の分布を$k=d+1$$$d$からのみ決定する。 政治以外の分野では、実践的な効果は実際のものだが、教師と学生のペアの選択よりも小さい。 再正規化は正規化であり、セーフガードではない。 コードはhttps://github.com/KurbanIntelligenceLab/top-k-distillationで公開されている。

関連論文リスト

• Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
  複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。 OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-09-29T23:47:58Z)
• The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation [6.727688649861658]
  一般化された変種は、出力空間における暗黙の報酬を外挿することで、生徒が教師を追い越すことができる。 出力空間外挿に依存するサンプルトーケン対数確率比は、外挿が増幅するノイズを注入し、トレーニングを不安定にする。 RLにより引き起こされる変化を直接表現空間に外挿するRIDEを提案する。
  論文  参考訳（メタデータ） (2026-09-29T01:44:39Z)
• Can Representation Learning Decouple from Loss Minimization? Polar Updates Have an Answer [2.4140387101794283]
  本研究では,訓練損失が改善しない場合に表現学習が停止するかどうかを考察する。 教師の学習玩具に対する明示的なサイクルとアライメントの公式と条件付きプラトーと崩壊境界を導出する。 33 ReLU, GELU, SiLUの教師構成について, 方向のみのアライメント尺度を用いて, 学生AGOPが周期2の発振中に教師のサブ空間に整合しているか, あるいは整合しているかを示した。
  論文  参考訳（メタデータ） (2026-09-28T20:35:56Z)
• Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent [11.327284468812948]
  負シフト勾配降下は構造的制約から逃れることを示す。 フィルタは、wil-be極で滑らかで、混合符号対応である。 有限グリッドのホールドアウト不等式は、分離をバリデーション選択アルゴリズムに転送する。
  論文  参考訳（メタデータ） (2026-07-24T16:42:46Z)
• Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
  オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。 特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。 我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T23:16:19Z)
• A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification [3.058685580689604]
  ハードラベル分類は通常、スムーズな代理損失、特にソフトマックスのクロスエントロピーで訓練される。 我々は、このスムーズなサロゲートと離散ラベルのミスマッチが、パワーローラー学習曲線を生成するメカニズムを分離する。 学習速度のスケジュールは、$_g sim -1/2$の電力法則に対する一般化誤差を改善することができることを示す。
  論文  参考訳（メタデータ） (2026-05-21T11:26:32Z)
• Gradient Equilibrium in Online Learning: Theory and Applications [56.02856551198923]
  勾配平衡は標準オンライン学習法によって達成される。 勾配平衡は、オンライン予測問題において解釈可能かつ有意義な性質に変換される。 勾配平衡フレームワークは,ブラックボックス予測の偏りを緩和する手法の開発に利用できることを示す。
  論文  参考訳（メタデータ） (2025-01-14T18:59:09Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• Implicit Bias in Deep Linear Classification: Initialization Scale vs Training Accuracy [71.25689267025244]
  移行がスケールとトレーニング損失の最小化の関係によってどのように制御されるかを示す。 以上の結果から,勾配降下の限界挙動は,ばかげた訓練精度でのみ引き起こされることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T23:49:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。