論文の概要: Understanding On-Policy Distillation: A Mechanistic Interpretability Perspective via Sparse Crosscoders

• arxiv url: http://arxiv.org/abs/2609.35210v1
• Date: Mon, 28 Sep 2026 14:03:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:06:51.649641
• Title: Understanding On-Policy Distillation: A Mechanistic Interpretability Perspective via Sparse Crosscoders
• Title（参考訳）: オンライン蒸留を理解する:スパース・クロスコーダによる機械論的解釈可能性
• Abstract要約: オンライン蒸留(OPD)が実際に学生の内部表現に何を蒸留するかについて検討する。 本研究は,生徒が各機能の使用法をいかに変化させるかを評価するスワップ・リードアウトを提案する。 OPDは教師自身の機能やパスを生成せず、生徒が頻繁に使用する機能の98%以上を20%以内で残していることがわかった。
• 参考スコア（独自算出の注目度）: 27.764535729864054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) is a widely adopted post-training technique for LLM reasoning. It is commonly believed to transfer knowledge from a stronger teacher, yet what OPD actually distills into the student's internal representations remains unclear. We study this question with sparse crosscoders, which learn one feature dictionary shared by the student before and after OPD and the teacher. Standard crosscoder analyses, however, identify model-specific features but cannot tell how a model's use of its features changes, since all models are encoded into one set of feature activations. We therefore propose the swap readout, which reads each student checkpoint's feature activations on its own, measuring how training changes the student's use of each feature, even for checkpoints unseen by the crosscoder. Across three OPD settings, we find that OPD neither creates features nor passes on the teacher's own, and leaves the firing rates of over 98% of the student's frequently used features within 20%. We further examine the SFT warm-up on the teacher's rollouts that commonly precedes OPD and makes it more effective. Rather than adding features, the warm-up reweights the shared ones in two ways. First, it already raises and lowers many of the features that OPD later raises and lowers, doing part of OPD's work in advance. Second, it changes features that OPD alone would not, notably those for conversation format, reasoning style, and mathematical notation, and these changes persist through OPD. Imposing this reweighting on a directly distilled student's features, without changing its weights, brings its accuracy close to that of the warmed-up student, whereas the same change on shuffled features does not. Together, these findings suggest that OPD reweights existing features rather than acquiring new ones: the student learns from the teacher how to use the features they already share.
• Abstract（参考訳）: オンライン蒸留 (OPD) は, LLM推論におけるポストトレーニング手法として広く採用されている。 一般的には、より強い教師から知識を伝達すると考えられているが、OPDが実際に学生の内部表現に蒸留したものは、まだ不明である。 OPDと教師の前後で,学生が共有する1つの特徴辞書を学習するスパース・クロスコーダを用いて,この問題を考察する。 しかし、標準的なクロスコーダ分析では、モデル固有の特徴を識別するが、すべてのモデルがひとつの機能アクティベーションにエンコードされるため、モデルがどのように機能を使うかは判断できない。 そこで本研究では,各学生のチェックポイントの特徴アクティベーションを個別に読み取るスワップ・リードアウトを提案する。 3つのOPD設定の中で、OPDは教師自身の機能やパスを生成せず、生徒が頻繁に使用する機能の98%以上を20%以内で残している。 さらに, OPD に先行する教師のロールアウトにおける SFT のウォームアップについて検討し, より効果的であることを示す。 機能を追加する代わりに、ウォームアップは共有するものを2つの方法で重み付けする。 第一に、すでにOPDが後述する機能の多くを引き上げ、低下させており、PDの作業の一部を前もって行っている。 第2に、PDだけではできない機能、特に会話形式、推論スタイル、数学的表記などを変更し、これらの変更はPDを通して継続する。 この重み付けは、直接蒸留した学生の特徴に反映されるが、重量を変えることなく、その正確さはウォームアップした生徒のそれに近いが、シャッフルした特徴にも同じ変化はない。 これらの結果から,OPDは既存の機能を新たに獲得するのではなく,既存の機能を重み付けしていることが示唆された。

関連論文リスト

• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
  生のKL不一致が学習価値の粗いプロキシであることを示す。 我々はこの局所的な互換性をトークンの教育可能性として定式化する。 軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-26T10:56:46Z)
• Improving Knowledge Distillation via Regularizing Feature Norm and Direction [16.98806338782858]
  知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。 教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。 教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
  論文  参考訳（メタデータ） (2023-05-26T15:05:19Z)
• Function-Consistent Feature Distillation [99.0460424124249]
  特徴蒸留により、生徒は教師の中間的特徴を模倣する。 教師と生徒の機能的類似性を明示的に最適化するFCFD(Function-Consistent Feature Distillation)を提案する。
  論文  参考訳（メタデータ） (2023-04-24T05:43:29Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Distilling Knowledge by Mimicking Features [32.79431807764681]
  我々は,教師の特徴を直感的な層に模倣させる方が,より有利であると主張している。 生徒は教師機能から直接より効果的な情報を学べるだけでなく、ソフトマックス層を使わずに訓練された教師にも機能模倣を適用することができる。
  論文  参考訳（メタデータ） (2020-11-03T02:15:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。