論文の概要: A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning

• arxiv url: http://arxiv.org/abs/2610.13744v1
• Date: Fri, 09 Oct 2026 15:36:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.655796
• Title: A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning
• Title（参考訳）: 検索できないことのみを証明できる専門教師: 推論のための批判的オン・ポリティクス自己蒸留
• Abstract要約: オンライン自己蒸留は、検証可能なリワードRLのスパース結果信号を高密度のトークンレベルクレジットに置き換えることを約束する。 このスコアリング信号が実際に補正クレジットを含むかどうかを調査する。
• 参考スコア（独自算出の注目度）: 8.500368920093605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation promises to replace the sparse outcome signal of verifiable-reward RL with dense token-level credit: a teacher conditioned on the reference solution scores the student's own rollout, and the resulting distributional shift is distilled back into the policy. We investigate whether this scoring signal actually contains corrective credit. Using gold error spans in student rollouts, we test the two signals consumed by self-distillation objectives, the full-distribution KL and the token log-ratio, for two properties: whether they localize errors and whether they push probability away from erroneous student tokens. They exhibit neither of these properties nor can they reliably distinguish correct from incorrect rollouts within the same problem. We argue that this failure is structural: locating an error in a reasoning trace is itself a search problem, while a scoring teacher is never explicitly asked to perform that search. The same model, with the same privileged information, localizes errors substantially better when allowed to generate a critique. This forms the motivation for \emph{critique-conditioned self-distillation}: first generate a critique of the current rollout, then condition the scoring teacher on that critique. The resulting signal localizes errors, is corrective within error spans, and shifts probability toward tokens that initiate backtracking such as ``Wait'', ``But'', and ``Actually''. We further show that the critique is useful both at test time, where resuming a wrong rollout with the critique in context converts math problems the model cannot solve by sampling, and in cold-start GRPO, where it provides an advantage signal on prompts for which verifiable rewards alone provide none.
• Abstract（参考訳）: オンライン自己蒸留は、検証可能なリワードRLのスパース結果シグナルを高密度トークンレベルクレジットに置き換えることを約束する:参照ソリューションに条件付き教師が生徒自身のロールアウトをスコアし、その結果の分布シフトをポリシーに戻す。 このスコアリング信号が実際に補正クレジットを含むかどうかを調査する。 学生のロールアウトにおける金のエラースパンを用いて, 自己蒸留目標, フルディストリビューションKL, トークンログ比の2つの特性を, エラーの局所化と, 不正な学生トークンから確率を遠ざけるかの2つの特性について検証した。 これらの性質はいずれも示さず、同じ問題における不正なロールアウトと確実に区別できない。 我々は、この失敗は構造的であると主張する: 推論トレース中のエラーを見つけることは、それ自体検索の問題であり、スコアリングの教師は、その検索を明示的に行うように要求されることは決してない。 同じ特権情報を持つ同じモデルは、批判を生成することができる場合にエラーをかなりうまくローカライズする。 これは'emph{critique-conditioned self-distillation} のモチベーションを形成し、まず現在のロールアウトに対する批判を生成し、それからその批判に対してスコアリング教師を条件付ける。 結果の信号はエラーをローカライズし、エラーの範囲内で修正され、確率は ``Wait'', ``But'', ``Actually'' などのバックトラックを開始するトークンにシフトする。 さらに、この批判はテスト時に有用であることを示すとともに、文脈における誤りのロールアウトを仮定すると、サンプリングによってモデルが解けない数学問題を変換し、コールドスタートのGRPOでは、検証可能な報酬だけでは得られないプロンプトに有利な信号を与える。

関連論文リスト

• Inductive Feedback for Mixed-Policy Distillation [15.997296479947785]
  言語フィードバックはエラーを特定し、修正を処方する。 オンライン蒸留は、学生が生み出したロールアウトに関する教師の予測に合致するように学生を訓練する。 このアプローチは、フィードバックのほとんどを未使用のままにしながら、フィードバックが動機のない教師の好みを伝達することができる。
  論文  参考訳（メタデータ） (2026-09-28T15:20:35Z)
• Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation [3.5592415157621105]
  自己蒸留(SD)は、検証可能な報酬を伴う強化学習に代わる計算効率の高い代替品として登場した。 SDPOの報告したゲインを簡単な設定で再現し、同じ設定を困難なタスクに適用し、そうでないことを確かめる。 この失敗は、損失から生成するモデルへの1つの因果連鎖を通して説明します。
  論文  参考訳（メタデータ） (2026-08-05T12:59:10Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• A Formula-Driven Survey and Research Agenda for On-Policy Distillation [4.397842507533513]
  本調査では,OPDを単一損失ファミリーではなく,フィードバックから更新までの問題として検討した。 我々は, 直接分布損失と政策段階の対数比更新という2つの経路から公式駆動型分類法を開発した。
  論文  参考訳（メタデータ） (2026-06-22T03:09:21Z)
• The Role of Feedback Alignment in Self-Distillation [0.3580891736370874]
  自己蒸留は、文脈が存在しないときにこの改善を維持するようモデルを訓練する。 本研究では,凍結した評論家からのフィードバックに基づいて,解法を訓練し,自己蒸留のための文脈設計について検討する。
  論文  参考訳（メタデータ） (2026-06-09T17:50:09Z)
• Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
  オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。 推定器と実装側からOPDを再検討する。 不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
  論文  参考訳（メタデータ） (2026-03-26T15:35:59Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。