論文の概要: Bridging Reasoning Trajectories in On-Policy Distillation via Near-Future Guidance

• arxiv url: http://arxiv.org/abs/2606.00305v1
• Date: Fri, 29 May 2026 19:32:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.269852
• Title: Bridging Reasoning Trajectories in On-Policy Distillation via Near-Future Guidance
• Title（参考訳）: 近未来誘導によるオンライン蒸留におけるブリジング推論軌跡
• Abstract要約: On-Policy Distillation(英語版)は、教師の監督のもと、自身の方針からサンプリングされた軌道上の学生モデルを訓練することにより、大きな言語モデル推論を改善する。 この「軌跡サンプリング型だがトークン学習型」機構は,教師の軌跡に対する生徒の軌跡を確実に橋渡しできないことを示す。 提案するトラジェクティブ・アウェアPDは,近未来のトラジェクトリ情報を用いて,現実の発散状態を識別し,将来的なトークン間でガイダンスを配布する。
• 参考スコア（独自算出の注目度）: 10.04930078540686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-Policy Distillation (OPD) improves large language model reasoning by training a student model on trajectories sampled from its own policy under teacher supervision. Although OPD operates on trajectories, its learning signal remains token-level: it identifies deviations through high-loss tokens and repairs them through local reverse-KL correction. We show that this "trajectory-sampled but token-learned" mechanism cannot reliably bridge student trajectories toward teacher trajectories. About 30% of high-loss tokens fall into the low-divergence regime, indicating that many are surface-form mismatches rather than real reasoning forks. Moreover, even truly divergent tokens are difficult to repair with isolated token-level supervision, since reasoning failures often unfold as short-horizon distributional drift. We propose Trajectory-aware OPD (TOPD), which uses near-future trajectory information to identify real divergent states and distribute guidance across multiple future tokens. Experiments show that suppressing non-divergent high-loss tokens improves standard OPD from 47.8% to 48.2% average accuracy, while TOPD further improves performance to 52.2%, with gains on AIME24 from 60.0% to 63.3% and AIME25 from 46.7% to 53.3%.
• Abstract（参考訳）: On-Policy Distillation (OPD) は、教師の監督のもと、自身の方針からサンプリングされた軌道上で学生モデルを訓練することにより、大きな言語モデル推論を改善する。 OPDは軌道上で動作しているが、その学習信号はトークンレベルであり、高損失トークンによる偏差を識別し、局所的な逆KL補正によってそれらを修復する。 この「軌跡サンプリング型だがトークン学習型」機構は,教師の軌跡に対する生徒の軌跡を確実に橋渡しできないことを示す。 高損失トークンの約30%は低分散状態にあり、その多くは真の推論フォークではなく表面形状のミスマッチであることを示している。 さらに、真に分岐したトークンであっても、短水平分布のドリフトとしてしばしばソート失敗が展開するため、孤立したトークンレベルの監視で修復することは困難である。 提案するTOPD(Trajectory-aware OPD)は,近未来トラジェクトリ情報を用いて,実際の発散状態を識別し,将来的なトークン間でガイダンスを配布する。 実験の結果、非分岐性高損失トークンの抑制は標準PDを47.8%から48.2%に改善し、TOPDは52.2%に改善し、AIME24は60.0%から63.3%、AIME25は46.7%から53.3%に向上した。

関連論文リスト

• Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement [27.122890248991556]
  オンライン蒸留(OPD)は、証明可能な報酬(RLVR)による強化学習の希薄な結果レベルの利点の代替として、高密度トークンレベルの監督を提供する。 我々は,OPD訓練中の教師の指導を定量的に分析し,教師の規模で有意な雑音が増大することを示した。 学習は低ログ確率トークンに焦点を合わせ, 教師が提案したトークンの性能に一致した1つの負の優位性を用いる。
  論文  参考訳（メタデータ） (2026-08-31T16:22:10Z)
• TTPO: Test-Time Policy Optimization [53.81524570216593]
  テストタイムポリシー最適化(TTPO)は、OPSDを介してロールアウトに同意し、Grouped RLと不一致なロールアウトを罰する非対称な目的である。 TTPOは5つの競合レベルのベンチマークでラベル管理されたOPSDと一致し、Qwen3-1.7Bは38.0%から45.2%まで上昇し、思考せずに+25.2%から+36.4%に上昇し、クロスタスクの一般化を示す。
  論文  参考訳（メタデータ） (2026-08-27T17:58:10Z)
• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Outcome-Confounded Local Supervision in On-Policy Distillation [0.5937989874256571]
  オンライン蒸留は生徒を自身の軌道で訓練し、教師は生徒が訪問する接頭辞に密集したトークンレベルを供給している。 いずれの読解も、完成した軌跡の結果によって構築されていることを示す。 最終回答の正しさを両立させた結果解決診断法を提案する。
  論文  参考訳（メタデータ） (2026-07-26T16:03:33Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Escaping the KL Agreement Trap in On-Policy Distillation [23.908556717663057]
  動的トレーニング適応しきい値と持続的低KL一致を検出するオンラインPD終了規則を提案する。 KATは、avg@kの精度を2.66%、pass@kを3.43%改善し、平均ロールアウト期間を59.73%短縮した。
  論文  参考訳（メタデータ） (2026-06-08T13:28:54Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
  ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。 DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
  論文  参考訳（メタデータ） (2026-05-28T12:40:22Z)
• CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
  検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル 各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。 コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
  論文  参考訳（メタデータ） (2026-05-19T06:46:19Z)
• Revisiting DAgger in the Era of LLM-Agents [35.615579397673166]
  ロングホライゾン LM エージェントはマルチターン相互作用から学習し、1つの早期誤りがその後の状態分布を変化させ、全軌道を脱線させる。 教師の微調整によって教師の監督が密集し、検証可能な報酬による強化学習は、この非政治的なミスマッチを避ける。 マルチターンLMエージェントのデータセットアグリゲーション(DAgger)を再検討することにより,このジレンマに対処する。
  論文  参考訳（メタデータ） (2026-05-13T02:40:28Z)
• SOD: Step-wise On-policy Distillation for Small Language Model Agents [32.49707795291693]
  ツール統合推論は、小さな言語モデルにスケールすることが難しい。 近年,教師から密集したトークンレベルの監督を施すことで,オンライン蒸留が普及している。 スモールランゲージモデルエージェントのための段階的オンライン蒸留フレームワークであるSODを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:30:42Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)
• SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting [17.504616835765617]
  両経路適応型学習フレームワークを提案する。 SCOPEは、Avg@32で11.42%、Pass@32で7.30%の平均相対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-04-12T15:26:14Z)
• Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
  オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。 推定器と実装側からOPDを再検討する。 不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
  論文  参考訳（メタデータ） (2026-03-26T15:35:59Z)
• Entropy-Aware On-Policy Distillation of Language Models [36.60992451188347]
  エントロピーを意識したオン・ポリシィ蒸留について紹介する。 我々のキーとなる考え方は、教師のエントロピーが高い場合、標準逆KL目標を前方KLに増強することである。 モデム探索精度とモデム探索精度のバランスを保ち、モデムの訓練効率を犠牲にしない。
  論文  参考訳（メタデータ） (2026-03-07T07:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。