論文の概要: Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2609.37915v1
• Date: Tue, 29 Sep 2026 16:08:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.725979
• Title: Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning
• Title（参考訳）: LLM共振用オンライン自己蒸留におけるスケーリング限界の克服
• Abstract要約: オンラインの自己蒸留は、生徒に自分のサンプルの軌跡に沿って特権ある教師の分布に合わせるように訓練する。 標準OPSDは、教師を特権的文脈で条件付けしながら、この監督を証明されていない学生のロールアウトに適用する。 その結果,足場精度は文脈精度よりも下流の精度に強い影響を及ぼすことがわかった。
• 参考スコア（独自算出の注目度）: 0.9310784559313475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation (OPSD) trains a student to match a privileged teacher distribution along its own sampled trajectory. Standard OPSD applies this supervision to unverified student rollouts while conditioning the teacher on privileged context, typically a reference solution. We separate these roles in a factorial analysis and find that scaffold correctness has a stronger effect on downstream accuracy than context correctness. Unverified scaffolds create an imitation gap because the teacher can use information unavailable to the student. This gap shrinks with model scale, yet OPSD continues to supervise mostly unverified trajectories. In contrast, verified scaffolds remain effective even when the teacher is conditioned on the student's own unsuccessful rollout. Based on this finding, we introduce OASIS, which retains the OPSD objective but supervises mostly verified by label on-policy trajectories and replaces written solutions with unverified model-generated attempts as the teacher context. OASIS therefore requires only final-answer labels. Across Qwen3-1.7B, 4B, and 8B on AIME 2024, AIME 2025, and HMMT 2025, OASIS improves over the base model by 3.2--3.8 points on average, while OPSD's gain falls from 3.05 points at 1.7B to 0.14 at 8B. At 8B, OASIS improves over OPSD by 3.05 points, showing that verified on-policy scaffolds preserve the effectiveness of self-distillation as models scale.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、生徒に、自身のサンプル軌跡に沿って特権ある教師の分布に合わせるよう訓練する。 標準OPSDは、教師を特権的文脈(典型的には参照ソリューション)で条件付けしながら、この監督を証明されていない学生のロールアウトに適用する。 因子分析においてこれらの役割を分離し、足場精度が文脈精度よりも下流精度に強い影響があることを見出した。 教師は学生が利用できない情報を利用することができるため、不確実な足場は模倣のギャップを生じさせる。 このギャップはモデルスケールで縮小するが、OPSDはほとんど検証されていない軌道を監督し続けている。 対照的に、教師が生徒自身のロールアウトが失敗している場合でも、検証済みの足場は有効である。 OASISはOPSDの目的を保ちつつも、主にオンライントラジェクトリのラベルで検証され、教師の文脈として不確定なモデル生成の試みに置き換えられる。 したがって、OASISは最終回答ラベルのみを必要とする。 Qwen3-1.7B, 4B, 8B on AIME 2024, AIME 2025, HMMT 2025, OASISはベースモデルを平均3.2～3.8ポイント改善し、OPSDのゲインは1.7Bで3.05ポイントから0.14ポイントに低下した。 8Bでは,OASISはOPSDよりも3.05ポイント向上し,実証済みの現場足場がモデルスケールとして自己蒸留の有効性を保っていることを示した。

関連論文リスト

• Teach Yourself Where to Look: On-Policy Attention Self-Distillation for Reasoning [5.87050475730812]
  自衛隊の自衛隊は、認証されたソリューションにアクセス可能な特権教師からの密集したトークン配布指導を用いて、自衛隊の自衛隊のモデルを推論する。 我々は, トークンレベルの監視と, 溶液条件の注意蒸留を補完する, OPASD(On-Policy Attention Self-Distillation)を導入する。 OPASDはトークンのみのOPSDを一貫して上回り、平均精度は4.98から8.40ポイント向上した。
  論文  参考訳（メタデータ） (2026-09-27T04:38:41Z)
• TISD: On-Policy Self-Distillation with Trajectory Intervention [13.94224055378737]
  On-policy Self-distillation (OPSD) は、高密度の教師ターゲットを提供するが、学生サンプルのロールアウトに沿ってのみ評価する。 単純な分岐再生蒸留アルゴリズムであるトラジェクトリ・インターベンション・セルフ蒸留(TISD)を導入する。 TISDは教師が選択したブランチアクションを強制し、サフィックス生成を生徒に返却し、特権条件付き教師の下で完全な軌跡を蒸留する。
  論文  参考訳（メタデータ） (2026-09-25T06:37:02Z)
• DualOPSD: Adaptive Privileged Teachers for On-Policy Self-Distillation [11.771522030770228]
  On-policy Self-distillation (OPSD) は、学生モデルの特権的なコピーを使用して、外部教師がいなくても、厳密な監督を提供する。 両ポリシーを適応する非対称交互化フレームワークであるDualOPSDを提案する。
  論文  参考訳（メタデータ） (2026-08-26T17:01:21Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
  On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。 既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。 そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-05-20T18:14:03Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。