論文の概要: Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2610.20572v1
- Date: Wed, 14 Oct 2026 17:54:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.288993
- Title: Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
- Title（参考訳）: 批判誘導オン・ポリシィ蒸留による信頼性の高いスーパービジョンの回復
- Abstract要約: 回復可能性の回復に誤り認識を用いるCryticOPDを提案する。
教師は間違ったロールアウトを批判し、生徒はエラーの後に解を書き換えることができる。
Qwen3の2人の学生と6つの数学的推論ベンチマークにおいて、CriticOPDはOPDを改善し、競合問題で最大の利益を上げている。
- 参考スコア（独自算出の注目度）: 14.729045952279558
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) trains a student model on its own rollouts with token-level supervision from a teacher, assuming that the teacher can reach a correct answer from any prefix the student writes. We call this property the recoverability of the teacher and show it fails on incorrect rollouts: the teacher follows student errors, although it recognizes them. We propose CriticOPD, using error recognition to restore recoverability. The teacher critiques an incorrect rollout, allowing the student to rewrite its solution following the error. The resulting output, including the critique as privileged information, is scored by the teacher while the student uses the revision without the critique for training. On two Qwen3 students and six mathematical reasoning benchmarks, CriticOPD improves OPD, with the largest gains on competition problems.
- Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、教師が生徒が書いたどんな接頭辞からも正しい答えを得られると仮定して、教師からのトークンレベルの監督で生徒モデルを自身のロールアウトで訓練する。
我々は、この特性を教師の回復可能性と呼び、不正なロールアウトで失敗することを示す。
回復可能性の回復に誤り認識を用いるCryticOPDを提案する。
教師は間違ったロールアウトを批判し、生徒はエラーの後に解を書き換えることができる。
その結果得られた出力は、特権情報としての批判を含むもので、教師によってスコアされ、学生は、訓練のために批判なしでリビジョンを使用する。
Qwen3の2人の学生と6つの数学的推論ベンチマークにおいて、CriticOPDはOPDを改善し、競合問題で最大の利益を上げている。
関連論文リスト
- CARD: Closing the Teacher-Student Loop for Adversarial Robustness Distillation [19.147884556498344]
対向ロバストネス蒸留は、頑健な教師を固定知識源として扱い、一方通行でコンパクトな生徒にロバストネスを伝達する。
このパラダイムは、学生が蒸留されると教師との交流を終了し、蒸留された学生から潜在的に有用なフィードバックを捨てる。
本研究では, 閉鎖ループフレームワークであるCARD(Cyclic Adrial Robustness Distillation)を提案する。
論文 参考訳（メタデータ） (2026-10-14T10:04:24Z) - A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning [8.500368920093605]
オンライン自己蒸留は、検証可能なリワードRLのスパース結果信号を高密度のトークンレベルクレジットに置き換えることを約束する。
このスコアリング信号が実際に補正クレジットを含むかどうかを調査する。
論文 参考訳（メタデータ） (2026-10-09T15:36:47Z) - How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation [16.233057265893994]
本稿では, 蒸留前の強化学習を用いて, 生徒の既存の推論状態に適応するように教師を訓練するPrep-OPDを提案する。
Qwen3-4B-Instruct-2507を教師とし、Qwen3-0.6BとQwen3-1.7Bを学生として用いた。
論文 参考訳（メタデータ） (2026-10-04T04:49:24Z) - DuoOPD: Learning from Joint Teacher-Student Outcomes for Multi-Task On-Policy Distillation [21.879988758181312]
DuoOPDは、より強い教師からのトークンレベルのフィードバックで、生徒に独自のレスポンスでトレーニングする。
教師のみが成功すると、その正解は学生の失敗する反応を評価する文脈となる。
1つのルールはタスク固有の設定なしで4つの結果の組み合わせをカバーします。
論文 参考訳（メタデータ） (2026-09-27T16:15:02Z) - Recursive Self-Improvement via On-Policy Distillation for Reasoning [15.999152579037556]
オンライン蒸留は、学生モデルに軌道を発生させ、次に次の学習予測と外部教師の次の学習予測を一致させることで訓練する。
学生モデルの第二の凍結されたコピーは、現在その文脈において基礎的な真実が与えられ、教師として機能している。
生徒モデルは問題を受け取り、特権を持つ教師モデルを模倣することを学ぶが、教師はトレーニングを通して凍結している。
論文 参考訳（メタデータ） (2026-09-25T00:42:31Z) - What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。
AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。
直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
論文 参考訳（メタデータ） (2026-09-17T15:57:10Z) - Reward-Gated On-Policy Distillation [58.187458236302575]
オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。
RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。
RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
論文 参考訳（メタデータ） (2026-07-04T21:51:22Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳（メタデータ） (2026-06-16T17:46:02Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。