論文の概要: One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2608.25936v1
• Date: Wed, 26 Aug 2026 15:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.892996
• Title: One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation
• Title（参考訳）: 1つの症状と3つのレバ:オン・ポリケーション・セルフ蒸留の批判的レビュー
• Abstract要約: オンライン蒸留は、教師がトークンでトークンをスコアする間、自身の世代で言語モデルを訓練する。 教師はモデル自身であり、テスト時に生徒が持たない特権情報に基づいている。 初期の結果は有望であり、生成したトークンのごく一部で強化学習に匹敵する精度であった。 しかし、信号を生成するのと同じ非対称性もそれをバイアスする。
• 参考スコア（独自算出の注目度）: 3.0867286767516937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation trains a language model on its own generations while a teacher scores them token by token. It combines the dense supervision of imitation learning with the on-policy sampling of reinforcement learning. But it requires a second, larger model to act as teacher. On-Policy Self-Distillation (OPSD) removes that cost. The teacher is the model itself, conditioned on privileged information the student will not have at test time, such as a reference solution, a plan, or environment feedback. The teacher is no stronger than the student, only better informed. Early results were promising, with accuracy comparable to reinforcement learning at a fraction of the generated tokens. But the same asymmetry that produces the signal also biases it. One failure mode now dominates the field: collapse, the progressive narrowing of the set of reasoning paths the model can produce. Collapse is not specific to OPSD, though privileged information aggravates it. This review treats collapse as a symptom governed by three levers: (i) where the signal is applied, that is, how tokens are weighted; (ii) what the teacher is shown, that is, the nature of the privileged information; and (iii) when the signal changes, that is, the teacher's dynamics and the decay of guidance. We restrict our scope to mathematical reasoning, where the method originated and where its failure modes are best documented. We report no new experiments. The contribution is structural: a shared vocabulary for phenomena named differently across papers, and a clear line between what is settled and what is still disputed.
• Abstract（参考訳）: オンライン蒸留は、教師がトークンでトークンをスコアする間、自身の世代で言語モデルを訓練する。 模倣学習の厳密な監督と、強化学習のオンラインサンプリングを組み合わせる。 しかし、教師として振る舞うには2番目に大きなモデルが必要だ。 On-Policy Self-Distillation (OPSD)はそのコストを削減します。 教師はモデル自身であり、生徒がテスト時に持たない特権情報、例えば参照ソリューション、計画、環境フィードバックに基づいている。 先生は生徒ほど強くないが、よい情報しか得られない。 初期の結果は有望であり、生成したトークンのごく一部で強化学習に匹敵する精度であった。 しかし、信号を生成するのと同じ非対称性もそれをバイアスする。 1つの障害モードがフィールドを支配している:崩壊、モデルが生成できる一連の推論パスのプログレッシブな絞り込みである。 崩壊はOPSDに特化していないが、特権情報によって悪化する。 このレビューは、崩壊を3つのレバーが支配する症状として扱う。 i) 信号が適用される場合,すなわちトークンの重み付け方法 二 教師が示すもの、すなわち特権情報の性質 (三)信号が変化したとき、すなわち教師の力学と指導の減衰。 我々は,手法の発端と障害モードの文書化が最善である数学的推論に,我々の範囲を限定する。 我々は新しい実験を報告しない。 コントリビューションは構造的であり、論文間で異なる名前の現象の共通語彙であり、解決されたものとまだ議論されているものの間に明確な線がある。

関連論文リスト

• OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation [15.986808086256792]
  プリヴィレグドオン政治蒸留は、教師がリッチで訓練のみの視覚的証拠を用いて学生の軌跡を評価することによってマルチモーダル推論を改善する。 この誤解を招く合意の下では,教師の視覚的矯正的嗜好は失われないことがわかった。 我々は,この分離された視覚的嗜好から直接蒸留ターゲットを再構築するOPD-Ahaを紹介する。
  論文  参考訳（メタデータ） (2026-09-15T00:25:28Z)
• Self-Supervised Visual On-Policy Distillation [63.83705343579541]
  視覚的オンライン蒸留は情報的教師-学生非対称性に大きく依存する。 S$2$VOPD(Self-Supervised Visual On-Policy Distillation)を紹介する。 S$2$VOPDは、オリジナルのイメージに条件付けられた教師の分布を、同じイメージの強く強化されたビューで条件付けられた学生の分布に蒸留する。
  論文  参考訳（メタデータ） (2026-08-14T09:52:01Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
  オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。 特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。 我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T23:16:19Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• Not All Synthetic Data Is Yours to Learn From [68.13136636413601]
  弱い自己学習は、事前訓練モデルにすでに存在する能力を増幅できることを示す。 我々はこれを、プロンプトフリーな無条件自己学習の最小設定で研究する。
  論文  参考訳（メタデータ） (2026-05-29T10:34:11Z)
• Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information [22.436966302243565]
  本稿では,学生と教師の相違を増す反自己蒸留法を提案する。 AntiSDはGRPOベースラインの精度を2倍から10倍にし、最終精度を最大11.5ポイント向上させる。
  論文  参考訳（メタデータ） (2026-05-12T06:40:43Z)
• A Survey of On-Policy Distillation for Large Language Models [19.95776080082138]
  この調査は、大規模言語モデル(LLM)のオン・ポリシィ蒸留に関する最初の包括的概要を提供する。 オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,emphfeedbackシグナル(ログベース,結果ベース,自己プレイ),emphteacherアクセス(ホワイトボックス,ブラックボックス,教師フリー),emphloss最小化(トケンレベル,シーケンスレベル,ハイブリッド)の3つの次元に沿ってランドスケープを整理する。
  論文  参考訳（メタデータ） (2026-04-01T08:32:34Z)
• Distilling Realizable Students from Unrealizable Teachers [9.968083244726941]
  特権情報に基づく政策蒸留について検討し, 一部観察のみの学生政策は, フルステートアクセスの教師から学ぶ必要がある。 既存のアプローチでは、教師が実現可能ではあるが準最適のデモを作成するように変更するか、または学生に頼って、欠落した情報を独立して調査する。 i) 学生が教師に補正を問い合わせるべき時期を適応的に決定する模倣学習手法と, (ii) 効率的な探索のためにトレーニングを初期化する場所を選択する強化学習手法を導入する。
  論文  参考訳（メタデータ） (2025-05-14T16:45:51Z)
• Can Language Models Teach Weaker Agents? Teacher Explanations Improve Students via Personalization [84.86241161706911]
  教師のLLMは、実際に生徒の推論に介入し、パフォーマンスを向上させることができることを示す。 また,マルチターンインタラクションでは,教師による説明が一般化され,説明データから学習されることを示す。 教師のミスアライメントが学生の成績をランダムな確率に低下させることを、意図的に誤解させることで検証する。
  論文  参考訳（メタデータ） (2023-06-15T17:27:20Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)
• Distilling Double Descent [65.85258126760502]
  蒸留とは、別の「教師」モデルでラベル付けされた例に基づいた「学生」モデルを訓練する技法である。 教師モデルが非常にパラメータ化されすぎている場合であっても、非常に大きな保持されていないラベル付きデータセットを使用することで、より"伝統的な"アプローチを上回るモデルが生まれます。
  論文  参考訳（メタデータ） (2021-02-13T02:26:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。