論文の概要: State-OPD: State-Grounded On-Policy Distillation for Multi-Turn Agents

• arxiv url: http://arxiv.org/abs/2610.13238v1
• Date: Fri, 09 Oct 2026 08:54:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.485245
• Title: State-OPD: State-Grounded On-Policy Distillation for Multi-Turn Agents
• Title（参考訳）: State-OPD:多孔質剤のオンポリシィ蒸留
• Abstract要約: On-Policy Distillation (OPD) は推論能力を伝達するための強力なパラダイムとして登場した。 エージェントOPDを相互作用状態を通じて研究し、目的タスクを識別し、アクション・オブザーブレーション記録を実行する。 インタラクション状態における教師の指導を基盤とするフレームワークであるステート・グラウンド・オン・ポリシィ蒸留について紹介する。
• 参考スコア（独自算出の注目度）: 12.596852231979861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-Policy Distillation (OPD) has emerged as a powerful paradigm for transferring reasoning capabilities from frontier models to smaller models, while extending its success to multi-turn agentic environments remains challenging. We study agentic OPD through interaction states, distinguishing the objective task and executed action-observation record from the internal semantic trajectory of student reasoning. Through this lens, we identify two roles of student reasoning in multi-turn OPD: prior reasoning distorts teacher supervision, while current reasoning shapes the action alternatives sampled at the same state. Specifically, at matched interaction states, removing prior student reasoning improves teacher continuation success and changes the teacher's token-level targets, with larger continuation gains at later turns. Meanwhile, resampling complete reasoning-action responses yields greater action diversity at the same state than resampling actions under a fixed reasoning trace. We introduce State-Grounded On-Policy Distillation, a framework that grounds teacher supervision in interaction states and reallocates the sampling budget to generate multiple complete reasoning-action responses at states with high response entropy, while retaining full-history student generation. Comprehensive evaluations across ALFWorld, ScienceWorld and WebShop demonstrate that State-OPD achieves the highest macro-average success rate among the evaluated methods for both Qwen3-1.7B and Qwen3-4B students. Notably, for Qwen3-4B, State-OPD raises macro-average success from 26.07\% with the strongest baseline to 31.74\% and surpasses its Qwen3-32B teacher on ALFWorld Seen. Further analyses reveal that State-OPD achieves higher task success with fewer supervised turn responses and substantially reduces persistent failed-action repetition; qualitative traces illustrate decision revision based on interaction feedback.
• Abstract（参考訳）: On-Policy Distillation (OPD) は、フロンティアモデルからより小さなモデルへの推論能力を移行するための強力なパラダイムとして登場し、その成功をマルチターンエージェント環境に拡張している。 相互作用状態を通じてエージェントOPDを解析し、目的課題を識別し、学生推論の内部意味軌道から行動観測記録を実行する。 このレンズを通して、マルチターンPDにおける学生推論の2つの役割を識別する: 事前推論は教師の監督を歪め、一方、現在の推論は、同じ状態でサンプリングされたアクション代替品を形作る。 具体的には、一致した相互作用状態において、事前の学生推論を除去することで教師の継続の成功が向上し、教師のトークンレベルの目標が変更され、その後のターンでより大きな継続率が向上する。 一方、完全な推論-アクション応答を再サンプリングすると、固定された推論トレースの下でのアクションを再サンプリングするよりも、同じ状態におけるアクションの多様性が増す。 我々は,教師の指導を対話状態に置き,高応答エントロピー状態の州で複数の完全な推論-反応反応を生成するためのサンプリング予算を再配置するフレームワークであるState-Grounded On-Policy Distillationを紹介した。 ALFWorld、ScienceWorld、WebShopの総合的な評価は、Qwen3-1.7BとQwen3-4Bの両方の学生を対象とした評価手法の中で、State-OPDがマクロ平均成功率が最も高いことを実証している。 特に、Qwen3-4Bでは、State-OPDは平均的なマクロ平均成功率を26.07\%から31.74\%に引き上げ、ALFWorld SeenでQwen3-32Bの教師を上回っている。 さらに分析した結果,State-OPDは教師付きターン応答を少なくして高いタスク成功を達成し,持続的な動作繰り返しを著しく低減し,質的トレースは相互作用フィードバックに基づく意思決定のリビジョンを示す。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
  オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。 我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。 その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。 本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T09:13:27Z)
• SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
  マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。 SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。 エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-06-17T23:58:14Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。