論文の概要: Train Ahead, Distill Back: Bootstrapping On-Policy Self-Distillation for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.37132v1
• Date: Tue, 29 Sep 2026 09:35:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.388089
• Title: Train Ahead, Distill Back: Bootstrapping On-Policy Self-Distillation for Large Language Models
• Title（参考訳）: 列車前・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後
• Abstract要約: オンラインの自己蒸留は、特権情報を持つ自己教育者が、モデル自身の軌道に密集したトークンレベルの監督を与えることによって、大きな言語モデルを改善する。 既存の方法は通常、現在の、初期またはゆっくりと平均化されたポリシー状態から自己教育者を構築する。 モデル自体の最適化の進捗を、より強力な自己学習者へとリサイクルできるかどうかを問う。
• 参考スコア（独自算出の注目度）: 18.908591776248482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation (OPSD) improves large language models by letting a self-teacher with privileged information provide dense token-level supervision on the model's own trajectories. Yet existing methods typically construct the self-teacher from the current, initial, or slowly averaged policy state, leaving the quality of supervision constrained by the teacher's ability to exploit privileged information. We ask whether the model's own optimization progress can instead be recycled into a stronger self-teacher. In this paper, we introduce Bootstrapped On-Policy Self-Distillation (B-OPSD), which temporarily trains the policy ahead to obtain a future teacher, restores the student to the original policy state, and then uses the future teacher to supervise the restarted student. The future teacher improves supervision in two complementary ways, it can generate more reliable privileged trajectories and, conditioned on them, provide more informative token-level targets along the restarted student's on-policy trajectories. Experiments on mathematical reasoning with Qwen3-4B and Qwen3-8B show consistent improvements over standard OPSD in both settings, including gains from 27.50 to 41.30 and from 48.80 to 64.44 in the rollout-privileged setting. Our findings point to a broader principle for self-improving models that future learning progress can be distilled backward, preserving acquired knowledge while bootstrapping beyond the optimization state that produced it.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、特権情報を持つ自己教育者が、モデル自身の軌道に密集したトークンレベルの監督を与えることによって、大きな言語モデルを改善する。 しかし、既存の方法は通常、現在の、初期、または緩やかな平均化された政策状態から自己教育者を構築し、教師が特権情報を利用する能力によって制限される監督の質を残している。 モデル自体の最適化の進捗を、より強力な自己学習者へとリサイクルできるかどうかを問う。 本稿では,Bootstrapped On-Policy Self-Distillation (B-OPSD)について紹介する。これは,将来の教師を育成するために一時的に方針を訓練し,学生を元の政策状態に戻す。 将来の教師は2つの補完的な方法で監督を改善し、より信頼性の高い特権的軌跡を生成でき、彼らに条件付けされ、再開された学生の政治軌道に沿ってより情報に富んだトークンレベルの目標を提供する。 Qwen3-4BとQwen3-8Bによる数学的推論の実験では、両方の設定で標準的なOPSDよりも一貫した改善が見られ、それぞれ27.50から41.30、ロールアウトされた設定では48.80から64.44に向上した。 本研究は, 自己改善モデルにおいて, 将来的な学習過程を後方に蒸留し, 得られた知識を保ちながら, 生成した最適化状態を超えてブートストラップを行うという, より広範な原理を指摘する。

関連論文リスト

• ROSS: Relearning from Self-Generated Rollouts through Selective Supervision [33.29824529535812]
  大規模言語モデルは、強化学習とオンライン蒸留を通じて自己生成ロールアウトを生成する。 過去のロールアウトは、後続のポリシーと互換性を持ちながら、ポリシーがもはや確実に表現されない行動を保存することができる。 ROSSは,選択したモデル生成継続にのみロスを適用しつつ,履歴の完全な軌跡を文脈として保存する。
  論文  参考訳（メタデータ） (2026-09-28T17:57:03Z)
• Recursive Self-Improvement via On-Policy Distillation for Reasoning [15.999152579037556]
  オンライン蒸留は、学生モデルに軌道を発生させ、次に次の学習予測と外部教師の次の学習予測を一致させることで訓練する。 学生モデルの第二の凍結されたコピーは、現在その文脈において基礎的な真実が与えられ、教師として機能している。 生徒モデルは問題を受け取り、特権を持つ教師モデルを模倣することを学ぶが、教師はトレーニングを通して凍結している。
  論文  参考訳（メタデータ） (2026-09-25T00:42:31Z)
• Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation [41.854144563456046]
  弱強一般化は、より弱いスーパーバイザーからより強力なモデルを学び、それらを上回ることができるかどうかを問う。 本稿では,教師の政策シフトを評価し,学生の検証者主導の政策勾配を増幅するOn-Policy Reverse Distillationを紹介する。 連続したモデル転送とマルチティーチンガー蒸留の両方において、OPRDは既存のRLや蒸留手法よりも学生更新が少なく、極めて高い性能を達成している。
  論文  参考訳（メタデータ） (2026-09-08T14:26:35Z)
• Latent On-Policy Self-Distillation [55.57800223145407]
  On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。 既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。 本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-08-13T10:05:51Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training [44.59915053122529]
  継続的なポストトレーニングにより、ファンデーションモデルは既存の能力を保ちながら新しい知識を得ることができる。 最近の研究は、政治的学習が忘れを軽減し、特に魅力的なアプローチとして、政治的自己蒸留が出現していることを示唆している。 実験の結果、SDPOは教師の信号が安定して整合性が高い場合にドメイン内特殊化を加速できるが、配布外シナリオへの一般化に苦慮している。
  論文  参考訳（メタデータ） (2026-07-02T06:24:30Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。