論文の概要: Distill Until Divergence: Error-Truncated Hindsight Distillation for Agentic RL

• arxiv url: http://arxiv.org/abs/2610.23048v1
• Date: Fri, 16 Oct 2026 07:28:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.815619
• Title: Distill Until Divergence: Error-Truncated Hindsight Distillation for Agentic RL
• Title（参考訳）: 発散まで希釈する: エージェントRLの誤用後身蒸留法
• Abstract要約: ロングホライゾン相互作用は、エージェントが変化する環境で複数の決定を行う必要がある。 最近の方法では、完成軌跡を再利用可能な技術に蒸留し、密集したトークンレベルクレジットを提供するために後光条件のPDを使用している。 本稿では,2つの相補的後見スキルを軌跡結果と誤差境界に基づいて経路する手法を提案する。
• 参考スコア（独自算出の注目度）: 2.661535989607612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon interaction requires agents to make multiple decisions in a changing environment. Outcome-based GRPO lacks fine-grained guidance for intermediate decisions. Recent methods distill completed trajectories into reusable skills and use hindsight-conditioned OPD to provide dense token-level credit. However, skill-induced probability shifts do not necessarily represent reward-aligned credit; especially after an erroneous action changes subsequent interaction states, skill-conditioned supervision may become mismatched with the current state. To address this mismatch, we propose \methodname{}, which routes two complementary hindsight skills according to trajectory outcomes and error boundaries: Positive skills capture successful workflows to reinforce successful trajectories and pre-error decisions, while Negative skills capture failure-specific corrections to target decisive errors. The post-error suffix is optimized exclusively by GRPO, retaining outcome-based learning without extending potentially mismatched hindsight supervision. Extensive experiments demonstrate competitive task performance and support effective fine-grained credit allocation.
• Abstract（参考訳）: ロングホライゾン相互作用は、エージェントが変化する環境で複数の決定を行う必要がある。 アウトカムベースのGRPOは、中間決定のためのきめ細かいガイダンスを欠いている。 最近の方法では、完成軌跡を再利用可能な技術に蒸留し、密集したトークンレベルの信用を提供するために、後光条件のPDを使用している。 しかし、スキルによって引き起こされる確率シフトは必ずしも報酬に整合した信用を表すものではない。 このミスマッチに対処するために,2つの相補的な後見スキルをトラジェクティブ結果とエラー境界に従ってルーティングする‘methodname{}’を提案する。 ポストエラー接尾辞はGRPOによってのみ最適化され、結果に基づく学習は、潜在的にミスマッチした後見監督を拡張することなく維持される。 大規模な実験は、競争力のあるタスクパフォーマンスを示し、効果的なきめ細かいクレジットアロケーションをサポートする。

関連論文リスト

• Self-Evolving Agents Can Repair Failures but Struggle to Generalize from Them [62.767134439822]
  CFOE(Cold-Start Failure-Only Evolution)は、エージェントが経験の蓄積なしに開始し、特権的なガイダンスなしで失敗するインタラクションからのみ学習する手法である。 障害から派生したエクスペリエンスは、以前失敗したタスクの修復に役立ちますが、目に見えないタスクに対する継続的な改善をもたらすことはめったにありません。 これらの結果から、現在の自己進化剤は、障害から一般化可能な能力を構築するよりも、観測された障害の修復に優れていることが示唆された。
  論文  参考訳（メタデータ） (2026-10-16T06:10:01Z)
• MAGMA-GEN: Validated Recovery Supervision from Ambiguous Failures via Counterfactual Re-Execution [1.0074626918268836]
  本稿では、不明瞭なロールアウトを検証されたリカバリ監視に変換する、オンラインデータ生成パイプラインであるMAGMA-GENを提案する。 MaGMA-GENは、まず特権コーチを使用して早期決定レベルのエラーを仮説化し、局所的な修正または回復アクションを提案する。 この診断は誤りであり、一致した条件下での同一状態からの再実行が下流の進行を改善した場合のみ、候補は保持される。
  論文  参考訳（メタデータ） (2026-09-17T11:07:47Z)
• Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting [20.811638832981178]
  大規模言語モデル(LLM)エージェントは、過去のインタラクションからの経験を蓄積し再利用する必要がある。 データ駆動のスキル最適化は、実際の環境から収集された限られた軌道に過度に適合する傾向がある。 リスクを緩和する3段階フレームワークであるSkillBoostを提案する。
  論文  参考訳（メタデータ） (2026-07-29T09:05:40Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Co-Evolving Agents: Learning from Failures as Hard Negatives [38.61683607205988]
  近年の研究では、自己改善剤を自力で生成し、精製し、自身の軌道で再訓練する研究が進められている。 本稿では、目標エージェントが補助故障エージェントと共同で改善する共進化型エージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-27T09:30:33Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。