論文の概要: Learning from Environmental Feedback: Credit Assignment across Multiple Timescales for Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.08255v1
- Date: Sat, 08 Aug 2026 17:32:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.749332
- Title: Learning from Environmental Feedback: Credit Assignment across Multiple Timescales for Agentic Reinforcement Learning
- Title（参考訳）: 環境フィードバックからの学習:エージェント強化学習のための複数の時間尺度におけるクレジット割り当て
- Abstract要約: エージェント強化学習(英語版) (RL) は、現実世界の環境においてしばしば遅延とスパース報酬に悩まされる。
軌道レベルの報酬を分解するために,環境フィードバックに基づく信用割当(EFCA)を提案する。
EFCAは、2つの環境下地プロセス信号で長期的な結果信号を補完する。
- 参考スコア（独自算出の注目度）: 46.55956920536838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic reinforcement learning (RL) often suffers from delayed and sparse rewards in real-world environments. A promising solution to this challenge is credit assignment, which aims to decompose trajectory-level rewards and provide more fine-grained supervision for intermediate decisions. However, existing credit assignment approaches ignore the rich process information naturally generated during environment interaction, e.g., interaction history. We argue that such information provides valuable supervision for identifying the contribution of individual actions. To this end, we propose Environmental Feedback-based Credit Assignment (EFCA), a multi-timescale credit assignment approach for long-horizon agentic RL. EFCA complements the long-term outcome signal with two environment-grounded process signals: a short-term feedback signal that captures the immediate effect of the current action and a medium-term state-history signal that identifies ineffective patterns from recent interactions. Both signals are directly extracted from environment feedback and integrated through a return reweighting mechanism. Experiments on ALFWorld and WebShop demonstrate that EFCA consistently improves both task success and task quality over strong baselines, highlighting the effectiveness of environment-grounded multi-timescale credit assignment for long-horizon agentic RL.
- Abstract（参考訳）: エージェント強化学習(英語版) (RL) は、現実世界の環境においてしばしば遅延とスパース報酬に悩まされる。
この課題の有望な解決策は信用割当であり、これは軌道レベルの報酬を分解し、中間決定のためのよりきめ細かい監督を提供することを目的としている。
しかし、既存のクレジット割り当てアプローチは、環境相互作用中に自然に発生するリッチなプロセス情報、例えば相互作用履歴を無視している。
このような情報は、個人の行動の貢献を識別するための貴重な監視を提供すると我々は主張する。
この目的のために, 長期エージェントRLにおける複数時間単位の信用割当手法である環境フィードバックに基づく信用割当(EFCA)を提案する。
EFCAは、現在の行動の即時効果を捉えた短期フィードバック信号と、最近の相互作用から非効率なパターンを識別する中期状態履歴信号の2つの環境基底プロセス信号と、長期的な結果信号を補完する。
両方の信号は環境フィードバックから直接抽出され、戻り再重み付け機構を通じて統合される。
ALFWorldとWebShopの実験では、EFCAは強いベースラインよりもタスク成功とタスク品質の両方を継続的に改善し、長期のエージェントRLに対する環境背景のマルチタイムクレジットの割り当ての有効性を強調している。
関連論文リスト
- HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。
本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。
我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
論文 参考訳（メタデータ） (2026-06-05T15:09:52Z) - What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。
既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。
環境重み付け学習フレームワークであるSERLを紹介する。
論文 参考訳（メタデータ） (2026-05-19T07:00:55Z) - Verifiable Process Rewards for Agentic Reasoning [21.195739597726142]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の推論能力を向上させる。
既存のアプローチのほとんどは、少ない結果レベルのフィードバックに依存しています。
本稿では,これらのオーラクルを強化学習のための高密度なターンレベルの監視に変換するフレームワークであるVerifiable Process Rewards (VPR)を提案する。
論文 参考訳（メタデータ） (2026-05-11T10:30:53Z) - AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning [13.755500788361815]
強化学習(RL)は、大規模言語モデル(LLM)エージェントが環境と相互作用し、マルチターンタスクを解く能力を大幅に改善した。
既存のアプローチは、プロセス報酬モデルや補助的な自己監督信号など、密集した中間監視を導入することが多い。
本稿では、RLトレーニング中にエントロピーダイナミクスを適応的に調整し、探索・探索トレードオフを改善するための監督不要な信用割当手法であるAEMを提案する。
論文 参考訳（メタデータ） (2026-05-01T05:54:37Z) - Learning to Credit the Right Steps: Objective-aware Process Optimization for Visual Generation [57.61006679699323]
強化学習は人間の嗜好信号を用いた視覚生成モデルの訓練後の効果的な枠組みとして登場した。
現代の視覚生成では、視覚的品質、動きの整合性、テキストアライメントなどの不均一な目的を捉えるために、複数の報酬モデルがしばしば使用される。
GRPO の微粒化学習のための構造化フレームワークである Objective-Aware Trajectory Credit Assignment (OTCA) を提案する。
論文 参考訳（メタデータ） (2026-04-21T08:37:13Z) - Retrospective In-Context Learning for Temporal Credit Assignment with Large Language Models [41.59440766417004]
時間的クレジット割り当ては、スパースフィードバックを密集した監視信号に変換することでこの問題を緩和する。
本稿では,大言語モデル(LLM)から事前学習した知識を利用して,スパース報酬を高密度な学習信号に変換することを提案する。
オンライン学習フレームワークRICOLは、クレジット代入結果に基づいてポリシーを反復的に洗練する。
論文 参考訳（メタデータ） (2026-02-19T16:13:28Z) - Autonomous Continual Learning of Computer-Use Agents for Environment Adaptation [57.65688895630163]
ACuRLは自律的なカリキュラム強化学習フレームワークで、エージェントを人間データゼロの特定の環境に継続的に適応させる。
本研究では,環境内学習と環境横断学習の両方を効果的に実現し,既存の環境を忘れずに4～22%の性能向上を実現した。
論文 参考訳（メタデータ） (2026-02-10T23:06:02Z) - Learning Guidance Rewards with Trajectory-space Smoothing [22.456737935789103]
長期的信用割当は深層強化学習における重要な課題である。
既存の政策段階のアルゴリズムとQラーニングアルゴリズムは、豊富な短期的な監督を提供する密集した環境報酬に依存している。
近年の研究では、粗末な環境報酬や遅延した環境報酬の代わりに使用できる密集した「ガイダンス」報酬を学習するためのアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2020-10-23T23:55:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。