論文の概要: Diagnosing On-Policy Self-Distillation for Reasoning Language Models

• arxiv url: http://arxiv.org/abs/2609.39118v1
• Date: Wed, 30 Sep 2026 06:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.299118
• Title: Diagnosing On-Policy Self-Distillation for Reasoning Language Models
• Title（参考訳）: 共振型言語モデルのためのオンライン自己蒸留の診断
• Abstract要約: On-policy self-distillation (OPSD) は、言語モデルの推論能力を改善するための有望なアプローチとして関心を集めている。 本研究では,0.6B--8Bパラメータにまたがるモデル間の数学的推論のためにOPSDを診断する。 教師の信号は、特権的意味論のみではなく、推論モードのアライメントと完全な教師接頭辞によって形成されていることを指摘する。
• 参考スコア（独自算出の注目度）: 8.992714629570365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation (OPSD) has attracted growing interest as a promising approach to improve the reasoning ability of language models. Without external rewards nor a separate stronger teacher, the self-teacher with privileged information could provide dense signals on student's trajectories. However, its behavior in language reasoning remains unclear, with reported outcomes ranging from modest gains to behavioral collapse. In this work, we diagnose OPSD for mathematical reasoning across models spanning 0.6B--8B parameters. We conduct controlled experiments and token-level analyses to fully delve into OPSD. We point out that teacher's signal is shaped by reasoning-mode alignment and the complete teacher prefix, rather than by privileged semantics alone. OPSD improves reasoning only in narrow compatibility regimes. Otherwise, it produces ineffective length growth, stable degradation, or behavioral collapse. Token-level analysis shows that teacher's signal is not stable and does not predict downstream performance. Based on these results, we argue that OPSD is a sensitive algorithm rather than a generally reliable reasoning-improvement post-training method.
• Abstract（参考訳）: On-policy self-distillation (OPSD) は、言語モデルの推論能力を改善するための有望なアプローチとして関心を集めている。 外部の報奨やより強い教師がいなければ、特権情報を持つ自己教師は生徒の軌跡に密集した信号を与えることができた。 しかし、言語推論におけるその振る舞いはいまだ不明であり、報告された成果は緩やかな利得から行動の崩壊まで様々である。 本研究では,0.6B--8Bパラメータにまたがるモデル間の数学的推論のためにOPSDを診断する。 制御された実験とトークンレベルの分析を行い、OPSDを完全に掘り下げる。 教師の信号は、特権的意味論のみではなく、推論モードのアライメントと完全な教師接頭辞によって形成されていることを指摘する。 OPSDは、狭い互換性体制でのみ推論を改善する。 さもなければ、非効率な長さ成長、安定した劣化、または行動崩壊を引き起こす。 トークンレベルの分析では,教師の信号は安定せず,下流での演奏を予測できない。 これらの結果から,OPSDは一般に信頼性の高い推論改善手法ではなく,センシティブなアルゴリズムであると主張する。

関連論文リスト

• SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning [54.402550664505576]
  オンライン蒸留(OPD)は、より強力な教師モデルから短文の学生に推論能力を伝達する有望な方法を提供する。 長文推論モデル SU-01 から短文学習者モデルへの証明推論能力の移譲により,この設定について検討する。 Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4を含む同族および異族の両方の実験は、数学的推論において一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-08-14T12:57:02Z)
• Contrastive On-Policy Distillation [36.47487086937924]
  対照的なオンライン蒸留フレームワークである COPD を提案する。 COPDは生徒モデルに直接、より簡潔で効率的な推論戦略を学ぶよう促す。
  論文  参考訳（メタデータ） (2026-07-21T12:35:04Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents? [28.21326355616294]
  エージェント検索のための自己蒸留アルゴリズムであるFA-SDをインスタンス化する。 モデルが反復的推論と探索の出力テンプレートに頼り、多様に見えるが入力問題に大きく依存しない軌跡を生成することを確認した。 自己学習者はより優れた成績を収めるが,非一貫性な指導信号により学習は本質的に不安定であることを示す。
  論文  参考訳（メタデータ） (2026-07-20T05:07:22Z)
• Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
  オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。 特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。 我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T23:16:19Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
  本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。 P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。 複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
  論文  参考訳（メタデータ） (2026-01-15T04:40:45Z)
• NaturalThoughts: Selecting and Distilling Reasoning Traces for General Reasoning Tasks [65.70224757972068]
  本研究では,NaturalReasoningからの質問のプールに基づいて,強力な教師モデルから推論トレースを選択する。 データサイズをランダムサンプリングでスケールアップすることは、安定したパフォーマンス向上を伴う強力なベースラインであることに気付きました。 より多様な推論戦略を必要とする難しい事例を選択することは、教師モデルの推論スキルを伝達するよりサンプル効率が高いことが判明した。
  論文  参考訳（メタデータ） (2025-07-02T17:30:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。