論文の概要: AHEAD: Adaptive Hindsight with Environment-Augmented Distillation for Agentic RL
- arxiv url: http://arxiv.org/abs/2608.24114v1
- Date: Tue, 25 Aug 2026 06:23:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.844447
- Title: AHEAD: Adaptive Hindsight with Environment-Augmented Distillation for Agentic RL
- Title（参考訳）: AHEAD: エージェントRLの環境拡張蒸留による適応型ハインドシンドローム
- Abstract要約: 自己蒸留法は、特権情報でRLを増強することにより、よりきめ細かい監視を提供することができる。
我々は、異なる監視ソースと異なるステップタイプにマッチするステップ認識フレームワークであるAHEADを提案する。
AHEADはタスク成功率(ALFWorldで+13.3ポイント)を高め、トレーニングステップを減らし、結果のみのRLや事前の自己蒸留ベースラインよりも厳密な相互作用予算内でタスクを解決する。
- 参考スコア（独自算出の注目度）: 14.402945966056764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training multi-turn LLM agents with reinforcement learning typically relies on trajectory-level rewards, which assign a uniform advantage to every step and cannot identify which decisions led to success or failure. Self-distillation methods can provide finer-grained supervision by augmenting RL with privileged information. However, existing approaches usually apply the same type of privileged information to every step in an indistinguishable manner, ignoring a key asymmetry: routine steps need little additional guidance, while critical error steps require corrective direction that environment feedback alone cannot provide. We propose AHEAD, a step-aware framework that matches different supervision sources to different step types. The teacher receives environment feedback on all steps as a grounded dense signal, and additionally receives LLM-generated corrective hints on error steps to supply the direction that environment feedback lacks. The method introduces minimal changes to the standard GRPO algorithm. Across ALFWorld, WebShop, and Search-based QA, and across three model scales, AHEAD raises task success (+13.3 points on ALFWorld and +11.0 on WebShop at 7B over GRPO), reaches a given success rate in fewer training steps, and solves tasks within tighter interaction budgets than outcome-only RL and prior self-distillation baselines.
- Abstract（参考訳）: 強化学習による多ターンLDMエージェントの訓練は、通常、軌道レベルの報酬に依存し、各ステップに一様優位性を与え、どの決定が成功または失敗に繋がったかを特定できない。
自己蒸留法は、特権情報でRLを増強することにより、よりきめ細かい監視を提供することができる。
しかし、既存のアプローチは、通常、すべてのステップに対して、区別不可能な方法で同じ種類の特権情報を適用し、キー非対称性を無視している:ルーチンステップは、ほとんど追加のガイダンスを必要とし、クリティカルエラーステップは、環境フィードバックだけでは提供できない修正方向を必要とする。
我々は、異なる監視ソースと異なるステップタイプにマッチするステップ認識フレームワークであるAHEADを提案する。
教師は、地中密な信号として全てのステップの環境フィードバックを受け取り、さらに、環境フィードバックが欠落する方向を提供するために、エラーステップのLLM生成補正ヒントを受信する。
この手法は標準のGRPOアルゴリズムに最小限の変更をもたらす。
ALFWorld、WebShop、検索ベースのQA、および3つのモデルスケールにおいて、AHEADはタスク成功率(ALFWorld+13.3ポイント、WebShop+7B++11.0)を上げ、トレーニングステップを減らし、結果のみのRLや自己蒸留ベースラインよりも厳密なインタラクション予算内でタスクを解決している。
関連論文リスト
- Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents [15.62688304085298]
ディープサーチエージェントは、数十のステップにまたがる軌道上で動作します。
On-policy Self-distillation (OPSD)は、モデル自身のロジットを密集したトークンレベルの教師として利用することで、この問題に対処する。
本稿では,教師の不一致をステップレベルの優位重みに変換するステップレベル自己拡張政策最適化(SSPO)を提案する。
論文 参考訳（メタデータ） (2026-08-13T03:13:18Z) - LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。
最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。
この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
論文 参考訳（メタデータ） (2026-07-05T17:05:13Z) - Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。
本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。
我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
論文 参考訳（メタデータ） (2026-06-05T15:09:52Z) - What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。
既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。
環境重み付け学習フレームワークであるSERLを紹介する。
論文 参考訳（メタデータ） (2026-05-19T07:00:55Z) - GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
強化学習のための勾配整列データ選択法GradAlignを提案する。
GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
論文 参考訳（メタデータ） (2026-02-25T01:54:50Z) - Verified Critical Step Optimization for LLM Agents [67.05296684575445]
クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。
メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。
GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
論文 参考訳（メタデータ） (2026-02-03T11:41:02Z) - ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。
本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
論文 参考訳（メタデータ） (2026-01-29T16:04:59Z) - SALT: Step-level Advantage Assignment for Long-horizon Agents via Trajectory Graph [15.303565124424635]
大きな言語モデル(LLM)は、言語エージェントがシングルターンタスクでエキサイティングな機能を示す。
複雑な多段階・長期のタスクへの応用は依然として困難である。
本稿では,結果報酬のみから派生した,よりきめ細かい有利な代入を提供するフレームワークであるSALTを提案する。
論文 参考訳（メタデータ） (2025-10-22T20:50:24Z) - ATLaS: Agent Tuning via Learning Critical Steps [39.279048406057264]
大規模言語モデル(LLM)エージェントは、マルチドメインタスクにまたがる顕著な一般化機能を示す。
既存のエージェントチューニングアプローチでは、典型的には専門家の軌跡全体について教師付き微調整を用いる。
我々は,これらのステップのみにおいて,専門家の軌跡や微粒化における重要なステップを低コストで識別するATLaSを提案する。
論文 参考訳（メタデータ） (2025-03-04T02:14:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。