論文の概要: ToolOPD: Credit-Aware On-Policy Distillation for Tool-Use Agents

• arxiv url: http://arxiv.org/abs/2610.25693v1
• Date: Mon, 19 Oct 2026 02:41:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 12:17:42.750873
• Title: ToolOPD: Credit-Aware On-Policy Distillation for Tool-Use Agents
• Title（参考訳）: ToolOPD: ツール・ユース・エージェントのためのクレジット・アウェアオン・ポリティクス蒸留
• Abstract要約: オンライン蒸留(OPD)は、教師モデルから密集したトークンレベルの監督を提供することにより、小さな言語エージェントの能力を高める。 標準PDは、クレジットが長期の軌跡に均一に分散していると暗黙的に仮定し、教師監督の強さを異なる行動に割り当てる。 本稿では, 長期ツール利用を目的とした結果認識型オンライン蒸留フレームワークであるToolOPDを提案する。
• 参考スコア（独自算出の注目度）: 32.13505872903831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) enhances the capabilities of small language agents by providing dense, token-level supervision from a teacher model on student-generated trajectories. However, standard OPD implicitly assumes that credit is uniformly distributed across long-horizon trajectories, assigning the same strength of teacher supervision to different actions. Through credit-distribution analysis and outcome-reversal counterfactual experiments, we find that trajectory credit is concentrated on a small number of critical actions. Moreover, even when the trajectory is held fixed, reversing only the final outcome substantially changes the credit assigned to multiple interaction turns. These findings show that the uniform-credit assumption fails to identify critical decisions and ultimately degrades the model's reasoning accuracy. To address these challenges, we propose ToolOPD, an outcome-aware on-policy distillation framework designed for long-horizon tool use. ToolOPD first summarizes each completed trajectory and its outcome into a reusable hindsight skill. It then measures how this skill changes the teacher's probability of each student action token and converts the change into outcome-aware credit. The resulting credit preserves supervision that supports successful decisions or discourages failed ones, while suppressing irrelevant and conflicting signals. ToolOPD uses these credits to reweight the action-level distillation loss and jointly optimizes it with reinforcement learning. Extensive experiments across multiple long-horizon tool interaction benchmarks demonstrate that ToolOPD significantly outperforms existing reinforcement learning and self-distillation baselines.
• Abstract（参考訳）: オンライン蒸留(OPD)は、教師モデルから学生生成トラジェクトリへの密集したトークンレベルの監督を提供することにより、小言語エージェントの能力を高める。 しかし、標準PDは、クレジットが長期の軌跡に均一に分散していると暗黙的に仮定し、教師監督の強さを異なる行動に割り当てている。 クレジット・ディストリビューション分析と結果・リバース・デファクト・デファクト実験により,トラジェクティブ・クレジットは少数のクリティカル・アクションに集中していることが判明した。 さらに、軌道が固定されたとしても、最終的な結果のみを逆転させることで、複数の相互作用に割り当てられたクレジットのターンが大幅に変化する。 これらの結果は、一様クレディット仮定が重要な決定を特定できず、最終的にモデルの推論精度を低下させることを示している。 これらの課題に対処するために, 長期ツール使用を目的とした結果認識型オンライン蒸留フレームワークであるToolOPDを提案する。 ToolOPDはまず、完成した軌跡とその成果を再利用可能な後見スキルにまとめる。 そして、このスキルが各生徒のアクショントークンの教師の確率をどのように変化させるかを測定し、変化を結果認識クレジットに変換する。 結果として得られた信用は、成功している決定を支持したり、失敗した決定を無効にするような監督を保ちながら、無関係で矛盾するシグナルを抑える。 ToolOPDはこれらのクレジットを使って、アクションレベルの蒸留損失を軽減し、強化学習と共同で最適化する。 複数の長期ツールインタラクションベンチマークに対する大規模な実験は、ToolOPDが既存の強化学習と自己蒸留ベースラインを著しく上回っていることを示している。

関連論文リスト

• Distill Until Divergence: Error-Truncated Hindsight Distillation for Agentic RL [2.661535989607612]
  ロングホライゾン相互作用は、エージェントが変化する環境で複数の決定を行う必要がある。 最近の方法では、完成軌跡を再利用可能な技術に蒸留し、密集したトークンレベルクレジットを提供するために後光条件のPDを使用している。 本稿では,2つの相補的後見スキルを軌跡結果と誤差境界に基づいて経路する手法を提案する。
  論文  参考訳（メタデータ） (2026-10-16T07:28:05Z)
• Of Errors and Echoes: Responsibility-Aware Credit Assignment for Tool-Use Agents [55.222414159666016]
  Error-Chain-Aware Optimization (ECHO) は、責任を意識した信用割り当てフレームワークである。 ECHOは新しく導入されたエラー、継承された結果、誤り修正、そして成功した修正を区別する。 ECHOは、責任ある決定と自己引き起こしたエラーの修復に対する報酬の制約を1度に分けて、ダウンストリームの結果の共有をカウントする。
  論文  参考訳（メタデータ） (2026-10-12T00:52:30Z)
• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• PRICE the Action Chunks: Physical Relational Credit Assignment for Embodied Reinforcement Learning [13.723588585738831]
  アウトカムベースの強化学習は、すべてのアクションチャンクに同じ軌道レベルの利点を割り当てる。 軌道上の物理的関係は、具体化されたRLにおいてアクション・チャンク・クレジットを提供することができる。 LIBERO、RoboTwin 2.0、および実際のロボットの実験では、結果ベースラインよりもタスクの成功が向上した。
  論文  参考訳（メタデータ） (2026-09-30T03:37:31Z)
• Group-Reflective Self-Distillation for Agentic Reinforcement Learning [8.041052886037766]
  GRSD(Group-Reflective Self-Distillation)は、政策が検証したロールアウトから、能力の整合性と結果の差別的なガイダンスを導出する。 GRSDは競争ベースラインを一貫して上回り、目に見えないタスクをより効果的に一般化する。
  論文  参考訳（メタデータ） (2026-07-30T11:49:46Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning [63.24624171679711]
  大規模言語モデル(LLM)ベースのエージェントは、しばしば最適なツール使用の決定を行う。 本研究では、不確実性分離を維持するための推進力として、不確実性定量化を報酬設計に組み込んだTRUSTを提案する。
  論文  参考訳（メタデータ） (2026-06-05T07:08:34Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。