論文の概要: PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents

• arxiv url: http://arxiv.org/abs/2609.40285v1
• Date: Wed, 30 Sep 2026 17:48:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.245069
• Title: PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents
• Title（参考訳）: PivotOPD: マルチTurnエージェントにおけるPivotalミスからのリカバリを学習する
• Abstract要約: オンライン蒸留は、言語エージェントの訓練に有望なアプローチである。 マルチターンインタラクションでは、不正な動作によって学生が後に遭遇する状態が変化するため、エラーはターン間で複雑になる。 PivotOPDは、学生が重要なミスを防ぎ、彼らが作り出す状態から回復するために、共同で学生を訓練するフレームワークである。
• 参考スコア（独自算出の注目度）: 47.98297005764724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) is a promising approach for training language agents, providing dense teacher supervision on student-generated trajectories. However, in multi-turn interaction, an incorrect action changes the states the student encounters later, so errors compound across turns. In preliminary experiments across three Qwen3 models (8B to 235B), we find that more than half of the failed rollouts contain a pivotal mistake, an action that moves the agent farther from completing the task, and this mistake typically occurs early. These pivotal mistakes often remain recoverable: guiding the model for only a few turns after the pivotal turn can restore task success. We therefore propose PivotOPD, an on-policy distillation framework that jointly trains the student to prevent pivotal mistakes and to recover from the states they create. At each pivotal mistake, a teacher model provides a gold action and then names a recovery action at each of the next few turns. Preventive distillation uses the gold action with reverse KL to steer the student away from the pivotal mistake, while recovery distillation uses the recovery actions with forward KL to transfer recovery behaviors that the student rarely samples. Against 13 baselines on ALFWorld, WebShop, and Search-based QA, PivotOPD achieves the strongest average performance for both Qwen3-1.7B and Qwen3-8B students, improving over the strongest baseline on ALFWorld by +5.5% with the 1.7B student. The gains also transfer to another model family on the software engineering domain, where PivotOPD raises the resolve rate of a Nemotron-3.5 student on SWE-Bench Verified by +3.2%. Project page: https://research.nvidia.com/labs/lpr/pivotopd/
• Abstract（参考訳）: オンライン蒸留(OPD)は言語エージェントの訓練に有望なアプローチであり、学生が生み出す軌跡に対する教師の密接な監督を提供する。 しかし、マルチターン相互作用では、学生が後に遭遇する状態が誤動作によって変化するため、エラーは交互に複雑になる。 3つのQwen3モデル(8Bから235B)の予備実験において、失敗したロールアウトのうち半数以上が重要なミスであり、エージェントをタスクの完了から遠ざけるアクションであり、このミスは通常早期に発生する。 これらの重要なミスは、しばしば回復可能であり、重要なターンの後、数回だけモデルを導くことで、タスクの成功を回復することができる。 そこで我々は,学生が重要なミスを防ぎ,生み出す状態から回復するために共同で訓練するオンライン蒸留フレームワークであるPivotOPDを提案する。 それぞれの重要なミスで、教師モデルは金のアクションを提供し、次に数回のターンごとに回復アクションを名付ける。 予防蒸留は、逆KLによる金の作用を用いて、学生を重要な誤りから遠ざける一方、回収蒸留は、学生が滅多に採取しない回復行動の伝達にフォワードKLによる回復作用を用いる。 ALFWorld、WebShop、検索ベースのQAの13のベースラインに対して、PivotOPDはQwen3-1.7Bの学生とQwen3-8Bの学生で最強の平均性能を達成し、1.7Bの学生でALFWorldのベースラインを+5.5%改善した。 PivotOPDはSWE-Bench上でNemotron-3.5の生徒の解決率を+3.2%向上させる。 プロジェクトページ: https://research.nvidia.com/labs/lpr/pivotopd/

関連論文リスト

• Act First, Reason Later: Accelerating On-Policy Distillation for Multi-Turn Agents via Reference-Conditioned Inverse Dynamics [44.67698117987422]
  Act First-OPDは、フルレスポンスジェネレーションから環境相互作用を分離するアクトファースト、理性-後のトレーニングフレームワークである。 実験の結果、ActFirst-OPDはALFWorldで平均2.3times$、WebShopで1.8times$、Vanilla OPDで4.9times$を達成している。
  論文  参考訳（メタデータ） (2026-09-29T03:25:15Z)
• Interactive-Policy Distillation with Bidirectional Propose-and-Verify [15.832994594431776]
  インタラクティブ・ポリシィ蒸留(IPD)は、学生のロールアウトに適応的な教師の介入を適用する。 IPDは、より高性能な蒸留法であるだけでなく、オン・ポリティズムとオフ・ポリティズムのパラダイムの間の統一されたブリッジでもある。 数学推論タスクと複数の教師と学生のモデルペアにおいて、PDで訓練された学生モデルは、PDで訓練された生徒よりも優れているだけでなく、より高いデータ効率を示す。
  論文  参考訳（メタデータ） (2026-09-29T02:32:39Z)
• PIVOT: Pivot-Aware On Policy Self Distillation for Multi-Turn VLM Agents [37.88404190729647]
  RLVRを用いた強化学習のためのPivot-Aware internalized Visual On-Policy Training (PIVOT) を提案する。 PIVOTは、ピボットローカライゼーションと状態復元を直接トークンレベルのパラメータ更新に内部化し、RLトレーニング中の環境のロールバックを排除し、テスト時に追加のスキルヒントを提供する。 認知グリッドパズルにまたがる5つのマルチターンVLMエージェントタスク、制御とナビゲーションの3次元具体化、生成的推論について評価した。
  論文  参考訳（メタデータ） (2026-09-28T14:43:28Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。