論文の概要: UOPD: Uncertainty-Aware Intervention for On-Policy Distillation of Multi-Turn Agents

• arxiv url: http://arxiv.org/abs/2609.34036v1
• Date: Sun, 27 Sep 2026 23:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:36:00.608376
• Title: UOPD: Uncertainty-Aware Intervention for On-Policy Distillation of Multi-Turn Agents
• Title（参考訳）: UOPD:多剤のオンライン蒸留における不確かさを意識した介入
• Abstract要約: オンライン蒸留は、教師からの厳密な監督により、生徒を自身のロールアウトで訓練する。 オンライン蒸留における不確実性を考慮した不確実性対応手法であるUOPDを提案する。 我々は, ALFWorld, WebShop, Search など,幅広いエージェントタスクを対象とした UOPD の評価を行った。
• 参考スコア（独自算出の注目度）: 10.788837653789484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student on its own rollouts using dense supervision from a teacher. In multi-turn environments, a mistake at a critical decision step can redirect the subsequent rollout toward poor outcomes. We use low teacher confidence on student actions to select high-uncertainty steps for correction. In a controlled ALFWorld study, a single teacher correction at a low-confidence step improves subsequent student behavior and task success, motivating selective intervention during distillation. We propose UOPD, an uncertainty-aware intervention method for on-policy distillation. At low-uncertainty turns, UOPD executes student actions and applies the standard OPD loss. At high-uncertainty turns, it samples and executes teacher actions and trains the student to imitate them through supervised fine-tuning, which minimizes forward Kullback-Leibler divergence in expectation. UOPD utilizes adaptive uncertainty thresholds to target a scheduled intervention rate. Empirically, we evaluate UOPD across a broad range of agentic tasks, including ALFWorld, WebShop, and Search, demonstrating its superior performance over OPD methods and their variants. UOPD improves WebShop score by up to $15.8\%$ relative to standard OPD.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、教師の密集した監督により、生徒を自身のロールアウトで訓練する。 マルチターン環境では、重要な決定ステップにおけるミスは、その後のロールアウトを悪い結果にリダイレクトすることができる。 学生行動に対する教師の信頼度を低くして、修正のための不確実なステップを選択する。 制御されたALFWorld研究において、低信頼の段階における1人の教師の修正は、後続の学生の行動とタスクの成功を改善し、蒸留中の選択的介入を動機付ける。 オンライン蒸留における不確実性を考慮した不確実性対応手法であるUOPDを提案する。 低不確実なターンでは、UPPDは学生の行動を実行し、標準のPD損失を適用します。 高不確実なターンでは、教師の行動をサンプリングして実行し、教師による微調整を通じて学生に模倣するように訓練する。 UOPDは、アダプティブな不確実性しきい値を使用して、スケジュールされた介入率を目標とする。 実験により,ALFWorld,WebShop,検索など,幅広いエージェントタスクを対象としたUPPDの評価を行い,OPD法とその変種よりも優れた性能を示した。 UOPDは標準的なOPDと比較して、WebShopのスコアを最大15.8 %まで改善している。

関連論文リスト

• CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
  信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。 GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2026-09-02T10:11:59Z)
• SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
  マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。 SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。 エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-06-17T23:58:14Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• Are Full Rollouts Necessary for On-Policy Distillation? [63.18243901591995]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトに沿って密集した教師のフィードバックを提供する。 我々は、ロールアウトの地平線を、トレーニング効率に大きく影響を及ぼすOPDの重要なボトルネックとみなす。 本稿では,トレーニング中に徐々にロールアウト地平線を拡大するプログレッシブPDと,信頼性の高い切り抜きロールアウトで恒久的に蒸留を行うTrncated OPDの2つの簡単な水平制御戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-29T16:12:54Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)
• VLA-OPD: Bridging Offline SFT and Online RL for Vision-Language-Action Models via On-Policy Distillation [14.33516456804297]
  On-Policy VLA Distillation (VLA-OPD)は、オンライン強化学習(RL)の効率をオフライン監視ファインチューニング(SFT)の堅牢性でブリッジするフレームワークである。
  論文  参考訳（メタデータ） (2026-03-27T17:59:33Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。