論文の概要: Proposing Better Rollouts for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.36477v2
• Date: Wed, 28 Oct 2026 22:30:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-30 22:39:27.51342
• Title: Proposing Better Rollouts for On-Policy Distillation
• Title（参考訳）: オンライン蒸留におけるロールアウト改善の提案
• Abstract要約: オンライン蒸留(OPD)は、教師の監督のもと、学生が自身のサンプル軌跡から学習させることにより、言語モデルポストトレーニングを改善する。 この選択は、教師が生徒のサンプルのどの軌跡をたどっても効果的な監督を行う必要があるため、複合的な教師と学生のミスマッチを生み出すことができることを示す。 本稿では,学生が指導する教師指導型ロールアウト分布を地域信頼領域の目的から導出したMPOPD(Mixture Proposal On-Policy Distillation)を提案する。
• 参考スコア（独自算出の注目度）: 47.11594078092923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) improves language-model post-training by letting the student learn from its own sampled trajectories under teacher supervision, aligning the training process with inference-time behavior. However, the rollout policy in OPD is usually treated as fixed: each round samples directly from the current student. We show that this choice can create a compounding teacher--student mismatch, because it requires the teacher to provide effective supervision on whichever trajectories the student samples, including ones less reachable by the teacher itself. On such trajectories, teacher supervision can become noisy or even misleading, leading to undesirable student patterns such as repetition. Moreover, since the updated student in turn defines the rollout policy of subsequent rounds, these patterns persist and potentially amplify over training. This failure mode suggests that improving OPD requires treating the rollout policy itself as an optimization target, rather than only modifying the distillation objective. We propose Mixture Proposal On-Policy Distillation (MPOPD), which derives a student-anchored, teacher-guided rollout distribution from a local trust-region objective based on relative teacher support. The resulting target is a geometric mixture of the student and teacher policies, and we introduce a proposal policy that approximates this mixture, enabling rollout generation in a single forward pass. Experiments on 16 math, knowledge, and medical reasoning benchmarks show consistent gains over OPD and recent variants. On math reasoning, our method improves average accuracy by 6.91 over OPD on Qwen3-4B-Base while reducing average generation length by 41%, suggesting that rollout policy design provides an effective way to improve OPD.
• Abstract（参考訳）: On-policy distillation (OPD)は、教師の監督のもと、学生が自身のサンプル軌跡から学習させ、トレーニングプロセスと推論時の振る舞いを整合させることにより、言語モデルポストトレーニングを改善する。 しかし、OPDのロールアウトポリシーは通常、現在の学生から直接各ラウンドサンプルを採取する、固定されたものとして扱われる。 この選択は、教師自身が到達しにくいものを含め、生徒のサンプルのどの軌跡も効果的に監督する必要があるため、複合的な教師ミスマッチを生み出すことができることを示す。 このような軌道上、教師の監督はうるさくなり、誤解を招くことすらあり、繰り返しのような望ましくない学生のパターンに繋がる。 さらに、更新された学生は、次回のラウンドのロールアウトポリシーを定義するので、これらのパターンは継続し、トレーニング中に増幅する可能性がある。 この障害モードは、OPDの改善には、蒸留目標を変更するだけでなく、ロールアウトポリシー自体を最適化ターゲットとして扱う必要があることを示唆している。 本研究では,教師の相対的支援に基づく地域信頼領域目標から,学生が指導した教師指導型ロールアウト分布を導出するMPOPD(Mixture Proposal On-Policy Distillation)を提案する。 その結果,学生と教師の方針の幾何的混合であり,この混合を近似した提案ポリシーを導入し,単一のフォワードパスでのロールアウト生成を可能にする。 16の数学、知識、医学的推論のベンチマークの実験は、PDや最近の変種よりも一貫した利得を示している。 本手法は,Qwen3-4B-Base上でのOPDよりも平均精度を6.91向上し,平均生成長を41%削減した。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• On-Policy Distillation with Negative-Policy Rollouts [61.76889440384448]
  オンライン蒸留(英: On-policy distillation、OPD)は、学生モデルが自身のロールアウトでより強い教師からトークンレベルの監督を取得するポストトレーニング手法である。 我々は,教師の監督と低パフォーマンスで低能力なネガティブポリシーのロールアウトを補完するNegative-Policy OPD(NP-OPD)を導入する。 NP-OPDは、OPDで使用される正の教師監督を保ちながら、負の政治的ロールアウトを通じて明確な負のシグナルを提供する。
  論文  参考訳（メタデータ） (2026-10-06T07:25:03Z)
• From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation [43.75423570055352]
  オンライン蒸留(OPD)は、より強い教師からのフィードバックを用いて、学生を独自の推論軌道で訓練する。 より深い介入により、ロールアウトの精度が低下し、非政治負荷が増大する。 MaESTROは、教師が受け継いだときとそれが生成する時間に共同で適応するために、ローカルポリシーの不一致を使用する。
  論文  参考訳（メタデータ） (2026-09-29T13:06:14Z)
• SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
  マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。 SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。 エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-06-17T23:58:14Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。