論文の概要: Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation

• arxiv url: http://arxiv.org/abs/2608.04794v1
• Date: Wed, 05 Aug 2026 12:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.930703
• Title: Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation
• Title（参考訳）: PI-Conditionedの教師が自給自給自足を断ち切る方法
• Authors: Sarthak Harne, Chinmay Karkar, Yash Pandya, Ahmed Awadallah, Akshay Nambi,
• Abstract要約: 自己蒸留(SD)は、検証可能な報酬を伴う強化学習に代わる計算効率の高い代替品として登場した。 SDPOの報告したゲインを簡単な設定で再現し、同じ設定を困難なタスクに適用し、そうでないことを確かめる。 この失敗は、損失から生成するモデルへの1つの因果連鎖を通して説明します。
• 参考スコア（独自算出の注目度）: 3.5592415157621105
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-distillation (SD) has emerged as a compute-efficient alternative to reinforcement learning with verifiable rewards: a self-teacher, conditioned on privileged information (PI) about the answer such as a reference solution, supplies dense per-token supervision to a student that never sees it. Reported gains, however, come almost exclusively from narrow, low-difficulty settings, leaving open a basic question: as a lone objective, with no reward term, does SD teach anything? We reproduce SDPO's reported gains in its easy setting, then apply the identical setup to difficult tasks and find that it does not. Across question answering, mathematics, coding, and multi-turn agentic tool use, across reasoning modes, model sizes, and forms of PI, and under both the SDPO and OPSD recipes, the per-token loss falls steadily while validation accuracy does not improve and typically degrades. We explain this failure through a single causal chain from the loss to the model it produces. The chain begins with PI bias: having seen one particular reference solution, the teacher's per-token target is pulled toward that trajectory rather than toward correctness in general, an effect we quantify with a PI Bias Score. Trained to match this target everywhere, the student's objective becomes nearly blind to whether a rollout is correct, and the loss it assigns falls mostly on low-information tokens like stopwords, punctuation, uncertainty markers, rather than those that determine the answer; within correct rollouts the exploratory tokens incur the highest divergence, so it penalizes the hesitation that reasoning requires. The result is a flatter, less decisive student that is no better at reasoning: as a lone objective, SD optimizes a signal decoupled from task success.
• Abstract（参考訳）: 自己蒸留(SD)は、証明可能な報酬を伴う強化学習の計算効率の代替として現れており、参照ソリューションのような回答に関する特権情報(PI)を条件とした自己学習者が、それを見ることのない学生に、密集した1対1の指導を供給している。 しかし、報告されている利益は、狭く、低密度な設定でしか得られず、基本的な疑問が残る: 唯一の目的として、報酬項なしでSDは何かを教えてくれるのか? SDPOの報告したゲインを簡単な設定で再現し、同じ設定を困難なタスクに適用し、そうでないことを確かめる。 質問応答、数学、コーディング、マルチターンエージェントツールの使用、推論モード、モデルサイズ、PIの形式、SDPOとOPSDのレシピの両方において、検証精度が向上せず、典型的には低下する。 この失敗は、損失から生成するモデルへの1つの因果連鎖を通して説明します。 この連鎖はPIバイアスから始まり、特定の参照解を1つ見た場合、教師1人当たりの標的は、一般に正しい方向ではなく、その軌跡に向かって引っ張られ、PIバイアススコアで定量化される。 この目標にマッチするように訓練された学生の目的は、ロールアウトが正しいかどうかにほとんど盲目になり、それが割り当てる損失は、答えを決定するものではなく、ストップワード、句読点、不確実性マーカーのような低情報トークンに主に該当する。 その結果は、よりフラットで決定力の低い学生で、推論が良くない。SDは唯一の目的として、タスクの成功から切り離されたシグナルを最適化する。

関連論文リスト

• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information [22.436966302243565]
  本稿では,学生と教師の相違を増す反自己蒸留法を提案する。 AntiSDはGRPOベースラインの精度を2倍から10倍にし、最終精度を最大11.5ポイント向上させる。
  論文  参考訳（メタデータ） (2026-05-12T06:40:43Z)
• Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
  オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。 推定器と実装側からOPDを再検討する。 不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
  論文  参考訳（メタデータ） (2026-03-26T15:35:59Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。