論文の概要: Privileged Information Does Not Guarantee Privileged Guidance: Auditing On-Policy Self-Distillation for Reasoning Models
- arxiv url: http://arxiv.org/abs/2611.16064v1
- Date: Wed, 11 Nov 2026 22:20:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.283061
- Title: Privileged Information Does Not Guarantee Privileged Guidance: Auditing On-Policy Self-Distillation for Reasoning Models
- Title(参考訳): プライヴィジド・インフォメーションは、プライビジド・ガイダンスを保証しない: 推論モデルに対するオンライン自己蒸留の検証
- Abstract要約: オンラインの自己蒸留は、特権情報を受け取る学生の凍結したコピーである教師から次の標的の学生を訓練する。
我々は,3つのQwen3尺度の4つの段階を,教師が解を利用できるかどうか,教師が目標から学習するかどうか,生徒が解を使わずに学習行動を適用するかどうか,の4段階を監査する。
- 参考スコア(独自算出の注目度): 7.718837048118208
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy self-distillation (OPSD) trains a student on next-token targets from a teacher, a frozen copy of the student that additionally receives privileged information, such as a worked solution, hidden from the student. Whether student gains reflect that information remains unclear. Taking the worked solution as privileged information, we audit four stages across three Qwen3 scales on mathematics: Source, whether the teacher can use the solution; Encoding, whether the resulting token targets are useful; Transmission, whether the student learns from the targets; and Expression, whether the student applies the learned behavior without the solution. With the solution, the teacher solves hard problems and recovers from student errors, yet the teacher does not reliably recognize errors, and its token targets do not favor correct trajectories. Repeated training makes successes within the student's reach more frequent rather than unlocking new ones, and corrections the student learns to predict are not reliably expressed in free generation. To isolate the solution's contribution, we vary its availability separately from teacher and student thinking modes. The largest gains occur when a teacher in thinking mode supervises a student trained and evaluated without an explicit thinking trace, and problem-only teachers often match or exceed privileged-solution teachers: the gain tracks the teacher's thinking mode rather than the solution, a pattern we call reasoning arbitrage. Accuracy gains alone therefore do not establish transfer of reasoning from privileged solutions: bottlenecks lie after Source, across Encoding, Transmission, and Expression. Future evaluations must measure what the solution adds to otherwise identical training.
- Abstract(参考訳): オンライン自己蒸留(On-policy Self-distillation、OPSD)は、教師から次の標的の学生を訓練する。
学生の獲得が、その情報を反映しているかどうかは不明だ。
課題は,3つのQwen3尺度にまたがる4つの段階を,教師が活用できるかどうか,結果のトークンターゲットが有用かどうか,生徒が目標から学習するかどうか,生徒が解を使わずに学習行動を適用するかどうか,の4段階を検証することである。
この解法により、教師は難しい問題を解き、生徒の誤りから回復するが、教師は確実に誤りを認識しず、トークンターゲットは正しい軌跡を好まない。
繰り返し訓練は、新しいものを解き放つよりも、生徒のリーチ内での成功を頻繁に行い、学生が予測する修正は、自由世代において確実に表現されない。
ソリューションのコントリビューションを分離するために、教師と学生の思考モードとは別々に、その可用性を変化させる。
思考モードの教師が、明示的な思考トレースなしで訓練され評価された学生を監督し、問題のみの教師が特権的解決の教師とマッチしたり、超えたりすると、最大の利益が生じる。
したがって、正確なゲインだけでは、特権のあるソリューションからの推論の転送を確立しない:ボトルネックはソースの後にあり、エンコーディング、トランスミッション、表現を越えている。
将来の評価は、ソリューションが他の場合と同じトレーニングに何を追加するかを測定する必要がある。
関連論文リスト
- Failure Profiling and Reachable Trajectory Selection for Reasoning Distillation [10.13987648511885]
学生は、教師のアウトプット分布に過度に適合し、推論時の行動がトレーニングデータから逸脱した場合、一般化が不十分になる傾向にある。
近年の手法では誤りデータを組み込むことでこのギャップを埋めようとするが、補正軌道はいまだに教師の推論パターンを反映している。
本研究では,学生の失敗と現実的な学習によって,効果的な学習データが共同で決定されるべきであるという知見に基づいて,FPRT(Failure Profiling and Reachable Trajectory Selection)を提案する。
論文 参考訳(メタデータ) (2026-11-06T06:14:20Z) - Meet Students Where They Are: Student-Prefix Teacher Adaptation for On-Policy Distillation [79.69506233995021]
学生予科教員適応(SPTA)は、蒸留中に質問される州に教師を適応させる。
数式推論ベンチマーク実験により,タスクレベルRLVR適応教師による標準PDとOPDよりもSPTAの方が平均的な学生成績を向上させることが示された。
論文 参考訳(メタデータ) (2026-11-02T13:45:23Z) - TeachBack: Learning to Teach via Bidirectional Preference Optimization for On-Policy Self-Distillation [30.678402742490373]
On-policy self-distillation (OPSD)は、同じモデルからインスタンス化された教師から学習できる言語モデルである。
政治自己蒸留のための双方向の嗜好学習フレームワークであるTeachBackを紹介した。
論文 参考訳(メタデータ) (2026-10-21T03:59:23Z) - A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching [15.425398466450646]
On-Policy Distillation (OPD)は、学生の世代に沿って、より強い教師から密集したトークンレベルの監督を提供する。
しかし、特権条件付けだけでは、結果の蒸留更新によって生徒が改善されることは保証されない。
本稿では,2つの役割で1つの政策を共同訓練するJOLT(Joint On-Policy Learning and Teaching)を提案する。
論文 参考訳(メタデータ) (2026-10-07T17:19:19Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳(メタデータ) (2026-09-27T10:13:54Z) - Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation [3.5592415157621105]
自己蒸留(SD)は、検証可能な報酬を伴う強化学習に代わる計算効率の高い代替品として登場した。
SDPOの報告したゲインを簡単な設定で再現し、同じ設定を困難なタスクに適用し、そうでないことを確かめる。
この失敗は、損失から生成するモデルへの1つの因果連鎖を通して説明します。
論文 参考訳(メタデータ) (2026-08-05T12:59:10Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳(メタデータ) (2026-07-02T17:58:29Z) - Distilling Realizable Students from Unrealizable Teachers [9.968083244726941]
特権情報に基づく政策蒸留について検討し, 一部観察のみの学生政策は, フルステートアクセスの教師から学ぶ必要がある。
既存のアプローチでは、教師が実現可能ではあるが準最適のデモを作成するように変更するか、または学生に頼って、欠落した情報を独立して調査する。
i) 学生が教師に補正を問い合わせるべき時期を適応的に決定する模倣学習手法と, (ii) 効率的な探索のためにトレーニングを初期化する場所を選択する強化学習手法を導入する。
論文 参考訳(メタデータ) (2025-05-14T16:45:51Z) - Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。
LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。
教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
論文 参考訳(メタデータ) (2024-07-12T10:11:40Z) - Self-Training with Differentiable Teacher [80.62757989797095]
自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。
この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。
そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
論文 参考訳(メタデータ) (2021-09-15T02:06:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。