論文の概要: Does self-distillation improve reasoning?

• arxiv url: http://arxiv.org/abs/2610.18613v1
• Date: Tue, 13 Oct 2026 15:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.671217
• Title: Does self-distillation improve reasoning?
• Title（参考訳）: 自己蒸留は推論を改善するか?
• Abstract要約: 自己蒸留(Self-distillation)は、特権情報の条件付け時に、モデルに独自の予測を模倣するように訓練する、新たなアプローチである。 最近の手法では、強化学習よりもサンプル効率と一般化が優れていることが報告されている。 本稿では,SDPO(Self-Distillation Policy Optimization)とOPSD(On-Policy Self-Distillation)の2つの代表的な手法を再検討する。
• 参考スコア（独自算出の注目度）: 46.69147415068326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-distillation is an emerging approach that trains a model to imitate its own predictions when conditioned on privileged information, such as correct answers or environmental feedback. Recent methods have reported better sample efficiency and generalization than reinforcement learning (RL), but it remains unclear whether these gains extend beyond in-distribution evaluations and whether they stem from privileged distillation. In this paper, we revisit two representative methods, Self-Distillation Policy Optimization (SDPO) and On-Policy Self-Distillation (OPSD), across code, science, tool use, and math reasoning tasks. We find that their reported gains do not consistently generalize to unseen problems and are largely explained by overfitting or transferring existing reasoning behavior, rather than effectively using privileged information. Moreover, self-distillation gradients show weak alignment with policy gradients that directly optimize expected reward, questioning whether they provide an effective direction for policy improvement. Our experiments across Qwen3 models (1.7B-14B) and OLMo-3-7B suggest that effectively leveraging privileged information to improve reasoning remains an open challenge. Our code is available at https://github.com/sleepypandu/does-sd-improve-reasoning
• Abstract（参考訳）: 自己蒸留は、正しい回答や環境フィードバックなどの特権情報に基づいて、モデルに独自の予測を模倣するように訓練する、新たなアプローチである。 近年の手法では, 増補学習 (RL) よりも優れた試料効率と一般化が報告されているが, これらの効果が産出内評価を超えるのか, 特権蒸留に由来するのかは定かではない。 本稿では, コード, 科学, ツール利用, 数学推論の2つの代表的手法, SDPO(Self-Distillation Policy Optimization)とOPSD(On-Policy Self-Distillation)について検討する。 報告された利得は、常に目に見えない問題に一般化せず、特権情報を有効に活用するのではなく、既存の推論行動の過度な適合や移譲によって主に説明されている。 さらに、自己蒸留勾配は、期待される報酬を直接最適化する政策勾配と弱い整合性を示し、政策改善の効果的な方向を提供するかどうかを問う。 Qwen3 モデル (1.7B-14B) と OLMo-3-7B を用いた実験では, 有意な情報を効果的に活用して推論を改善することが課題である。 私たちのコードはhttps://github.com/sleepypandu/does-sd-improve-reasoningで利用可能です。

関連論文リスト

• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• On-Policy Delta Distillation [61.76889440384448]
  オンライン蒸留は強化学習における代替のポストトレーニング手法である。 我々は,教師の出力分布を直接模倣するのではなく,デルタ信号と呼ばれる新しい蒸留報酬を導入する。 デルタ信号はオンライン蒸留を著しく改善し、新しい蒸留法をオンポリシィデルタ蒸留(OPD$2$)と呼ぶ。
  論文  参考訳（メタデータ） (2026-07-16T16:07:19Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• SocraticPO: Policy Optimization via Interactive Guidance [64.7524628699057]
  大規模言語モデルのための強化学習(RL)は通常、二項正当性のようなスカラー結果の報酬を伴う推論を監督する。 我々は、ソクラティックスタイルの自然言語ガイダンスでRLロールアウトを強化する政策最適化フレームワークであるtextbf SocraticPO(Socratic Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-06-03T09:08:29Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)
• Revisiting Estimation Bias in Policy Gradients for Deep Reinforcement Learning [0.0]
  我々は、Deep Reinforcement Learningの観点から、割引されたエピソードマルコフ決定プロセス(MDP)の政策勾配の推定バイアスを再考する。 主要な政策バイアスの1つは、州の分散シフトである。 このような状態分布シフトにもかかわらず、政策勾配推定バイアスは以下の3つの方法で低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-20T06:46:43Z)
• Neural-to-Tree Policy Distillation with Policy Improvement Criterion [28.262400646275793]
  ブラックボックスモデルに対する洞察を得るための可能な方法は、決定木のような解釈可能なモデルにそれを蒸留することである。 モデル動作を小さなエラーでもクローンする典型的なポリシー蒸留は、データ分散シフトをもたらす可能性がある。 本稿では, 蒸留の目的を挙動クローニングから有効性評価の最大化に転換することで, この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-08-16T05:14:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。