論文の概要: SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2606.19659v1
• Date: Wed, 17 Jun 2026 23:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.585023
• Title: SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation
• Title（参考訳）: SAGE-OPD:多軸オンライン蒸留用選択剤誘導インターベンション
• Authors: Yuhang Zhou, Lizhu Zhang, Yifan Wu, Mingyi Wang, Bo Peng, Jiayi Liu, Xiangjun Fan, Zhuokai Zhao,
• Abstract要約: マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。 SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。 エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
• 参考スコア（独自算出の注目度）: 25.25989941933095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) improves student models by training them on trajectories induced by their own policy, making it a promising approach for mitigating exposure bias in agent training. However, most OPD studies focus on single-turn settings, while realistic LLM agents interact with environments over multiple turns. In this regime, early errors can alter future observations and compound across the trajectory, and standard dense token-level OPD becomes brittle, as it may over-penalize semantically valid alternatives, reinforce local degeneracies such as repeated actions, and propagate unreliable teacher supervision on off-distribution histories. We propose SAGE-OPD, a verifier-free selective intervention framework specifically designed for multi-turn OPD. Instead of applying teacher supervision uniformly across all turns, SAGE-OPD first observes environment feedback and uses teacher judgment to decide whether each student response should be skipped or intervened on. To further address compounding errors, SAGE-OPD weights token-level distillation by teacher confidence, reducing the influence of uncertain teacher distributions on corrupted or ambiguous histories. Finally, SAGE-OPD applies loss normalization to preserve the overall loss scale of standard OPD while retaining selective turn-level weighting. Experiments on agent tasks show that SAGE-OPD consistently improves over baselines, achieving up to a 13.3% relative improvement in ALFWorld unseen success rate over standard OPD. Ablation studies further demonstrate that turn-level intervention, teacher confidence weighting, and loss normalization provide complementary benefits. Our results suggest that effective multi-turn OPD should remain on-policy, but teacher supervision should be selectively allocated to turns where intervention is necessary and reliable.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生を自身の政策によって誘導される軌道で訓練することで、学生モデルを改良し、エージェントトレーニングにおける露出バイアスを軽減するための有望なアプローチである。 しかし、ほとんどのPD研究はシングルターン設定に焦点を合わせ、現実的なLCMエージェントは複数回にわたって環境と相互作用する。 この体制では、早期エラーは将来の観察や軌道上の化合物を変化させることができ、標準的な高密度トークンレベルPDは、意味論的に有効な代替品を過小評価し、反復的な行動のような局所的な退化を補強し、非流通履歴に対する信頼性の低い教師の監督を広める可能性がある。 マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。 SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。 SAGE-OPDは、複雑なエラーに対処するため、教師の信頼度によってトークンレベルの蒸留を重み付け、不確実な教師分布が腐敗または曖昧な歴史に与える影響を減らす。 最後に、SAGE-OPDは、選択的なターンレベルの重み付けを維持しながら、標準PDの全体的な損失スケールを維持するために損失正規化を適用する。 エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。 アブレーション研究では、ターンレベルの介入、教師の信頼度重み付け、損失正規化が相補的な利益をもたらすことが示されている。 以上の結果から, 効果的なマルチターンPDは引き続き政治に留まるべきであると示唆されるが, 介入が必要かつ信頼性の高い方向に転換するためには, 教師の監督を選択的に割り当てるべきである。

関連論文リスト

• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• Trajectory-Refined Distillation [25.346810464266497]
  トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。 TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
  論文  参考訳（メタデータ） (2026-06-07T03:17:25Z)
• Trust Region On-Policy Distillation [38.98697509635889]
  On-Policy Distillation (OPD) は、大規模言語モデルの効率的なポストトレーニング手法である。 この研究は、信用割当戦略を通じて、信頼できるオン・ポリティクスのトークンレベルの監督に対処する。 実験の結果、TrOPDはSoTA OPDベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2026-05-31T14:04:51Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。