論文の概要: Frontier-OPD: Discovering the Edge of Agent Capability and Teaching Agents to Go Beyond

• arxiv url: http://arxiv.org/abs/2610.32802v1
• Date: Fri, 23 Oct 2026 15:40:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.598767
• Title: Frontier-OPD: Discovering the Edge of Agent Capability and Teaching Agents to Go Beyond
• Title（参考訳）: Frontier-OPD: エージェントの能力と教育エージェントのエッジを発見
• Abstract要約: 政治経験を共有状態軌跡グラフに整理するFrontier-OPDを導入する。 橋梁に関する合意と、それに続く学生継続を比較して、短い教師ブリッジを評価する。 ALFWorld、WebShop、ScienceWorldの実験では、比較された蒸留ベースラインよりも平均的な自律的なパフォーマンスが報告されている。
• 参考スコア（独自算出の注目度）: 13.477515803626778
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: On-policy distillation aligns teacher feedback with a student's current behavior, yet acquiring useful supervision for multi-turn agents requires identifying both where guidance is needed and whether the student can sustain the interaction afterward. We introduce Frontier-OPD, which addresses this problem through the student's learning frontier: decision situations that remain challenging but admit useful autonomous continuation after brief teacher guidance. To operationalize this frontier, Frontier-OPD organizes on-policy experience into a shared-state trajectory graph, where trajectory-balanced aggregation of teacher-student disagreement identifies distinct intervention candidates while preserving the histories needed for replay. Short teacher bridges are then assessed by comparing agreement over the bridge and the ensuing student continuation with an equally long segment of the original trajectory, providing a behavioral proxy for guidance that the current student can build on. Accepted teacher responses augment ordinary distillation data, and fresh rollouts renew the frontier estimate as the policy changes. Experiments on ALFWorld, WebShop, and ScienceWorld report higher mean autonomous performance than the compared distillation baselines across the evaluated student scales and teacher configurations, with ablations indicating complementary effects of candidate selection and guidance filtering. In one ALFWorld timing setting, the additional collection cost is offset by a shorter time to a target success rate.
• Abstract（参考訳）: オンライン蒸留は、教師のフィードバックと生徒の現在の行動とを一致させるが、マルチターンエージェントの有用な監督を得るためには、指導が必要な場所と、学生がその後の相互作用を維持できるかどうかの両方を特定する必要がある。 本稿では,学生の学習フロンティアを通じてこの問題に対処するフロンティアOPDについて紹介する。 このフロンティアを運用するために、Frontier-OPDは、政治経験を共有状態軌跡グラフに整理し、教師と学生の不一致の軌跡バランスの取れた集約は、再生に必要な履歴を保存しながら、異なる介入候補を特定する。 短い教師ブリッジは、橋とそれに続く学生の継続に関する合意を、元の軌跡の等しく長い部分と比較することにより評価され、現在の学生が構築できる指導のための行動プロキシを提供する。 受け入れた教師の回答は通常の蒸留データを増やし、政策変更に伴って新たなロールアウトがフロンティア見積を更新する。 ALFWorld、WebShop、ScienceWorldの実験では、評価された学生の規模と教師構成を比較した蒸留ベースラインよりも平均的な自律的なパフォーマンスが、候補選択とガイダンスフィルタリングの相補的な効果を示す。 1つのALFWorldタイミング設定では、追加のコレクションコストを目標の成功率に短縮してオフセットする。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
  オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:49:13Z)
• Dense Is Not Enough: Hierarchical Supervision Allocation for Long-Horizon On-Policy Distillation [18.000801125017357]
  生産的なガイダンスは将来のユーティリティと現在の学習可能性の交差点にあると我々は主張する。 本稿では,LENS-OPDを提案する。LENS-OPDは,ロケート,リファイン,内在化による監視を組織する粗大なフレームワークである。 以上の結果から, 有効長期蒸留には, 適切な深さ, 正しい決定, 正しいトークンの指導が必要であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-27T09:44:55Z)
• Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation [41.854144563456046]
  弱強一般化は、より弱いスーパーバイザーからより強力なモデルを学び、それらを上回ることができるかどうかを問う。 本稿では,教師の政策シフトを評価し,学生の検証者主導の政策勾配を増幅するOn-Policy Reverse Distillationを紹介する。 連続したモデル転送とマルチティーチンガー蒸留の両方において、OPRDは既存のRLや蒸留手法よりも学生更新が少なく、極めて高い性能を達成している。
  論文  参考訳（メタデータ） (2026-09-08T14:26:35Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training [11.42123432311386]
  学習者による文脈における有界教師の継続は、一致した予算における純粋な行動的クローンよりも改善されることを示す。 以上の結果から,学習者によって引き起こされる文脈に置かれる教師のステップは,より長くあるいはより厳格に調整された教師の完成よりも,よりコスト効率の高い監督アロケーションとなることが示唆された。
  論文  参考訳（メタデータ） (2026-07-06T01:02:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。