論文の概要: AttnSR: Attention Step Reward for Long-Horizon Agentic RL

• arxiv url: http://arxiv.org/abs/2611.07932v1
• Date: Thu, 05 Nov 2026 12:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.68259
• Title: AttnSR: Attention Step Reward for Long-Horizon Agentic RL
• Title（参考訳）: AttnSR: 長距離エージェントRLのための注意ステップリワード
• Abstract要約: 本稿では、トレーニングリプレイ中に抽出したポリシーの注意から報酬の割り当てを導出するステップレベルの報酬増強手法であるAttnSRを紹介する。 制御されたQwen2.5-7B-Instruct研究において、AttnSRは評価された全てのチェックポイントでPPOベースラインを一貫して上回っている。 AttnSRはまた、環境相互作用を29.9%削減しながら、チェックポイント毎にScienceWorldを改善している。
• 参考スコア（独自算出の注目度）: 23.967273026789588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon LLM agents make multi-step decisions, yet outcome-reward-only reinforcement learning provides little direct supervision for individual steps. We introduce AttnSR, a step-level reward augmentation method that derives reward allocations from policy attention extracted during training replay, without a separately trained reward model or additional rollouts. AttnSR traces backward through the policy model attention graph to estimate the relevance of earlier steps to the final response. The terminal step, measured relative to a running baseline, determines whether these rewards reinforce or penalize the selected steps. In a controlled Qwen2.5-7B-Instruct study, AttnSR consistently outperforms the PPO baseline across all evaluated checkpoints on ALFWorld, raising final held-out success from 91.2% to 97.1%. The ablation experiment shows that the benefit depends on how intermediate rewards are assigned, rather than simple accumulation of step rewards over time. AttnSR also improves ScienceWorld at every checkpoint while cutting environment interactions by 29.9%. These results support policy attention as a practical prior for step-level reward allocation in long-horizon agentic RL. Code is available at https://github.com/fairyshine/AttnSR .
• Abstract（参考訳）: ロングホライゾンLSMエージェントは多段階決定を行うが、結果逆方向のみの強化学習は個々のステップに対して直接の監督をほとんど提供しない。 本稿では、個別に訓練された報酬モデルや追加ロールアウトを使わずに、トレーニングリプレイ中に抽出されたポリシーの注意から報酬の割り当てを導出するステップレベルの報酬増強手法であるAttnSRを紹介する。 AttnSRはポリシーモデル注意グラフを遡って、初期ステップと最終レスポンスの関係を推定する。 ランニングベースラインに対して測定された端末ステップは、これらの報酬が選択されたステップを補強または罰則化するか否かを決定する。 制御されたQwen2.5-7B-Instruct研究において、AttnSRは、ALFWorldのすべての評価されたチェックポイントでPPOベースラインを一貫して上回り、91.2%から97.1%へと最終的なホールドアウトの成功をもたらした。 アブレーション実験は、その利点がステップ報酬の単純な蓄積ではなく、中間報酬の割り当て方法に依存することを示している。 AttnSRはまた、環境相互作用を29.9%削減しながら、チェックポイント毎にScienceWorldを改善している。 これらの結果は、長期エージェントRLにおけるステップレベルの報酬配分の実践的前提として政策の注意を支えている。 コードはhttps://github.com/fairyshine/AttnSRで入手できる。

関連論文リスト

• What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
  強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。 既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。 環境重み付け学習フレームワークであるSERLを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T07:00:55Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Stabilizing Long-term Multi-turn Reinforcement Learning with Gated Rewards [13.70228195630989]
  本稿では,マルチターンインタラクション,dockerベースの実行,カスタマイズ可能な報酬関数をサポートする統合システムであるSWE指向RLフレームワークを紹介する。 Gated Reward Accumulation (G-RA) も提案する。これは,高位(長期)の報酬が予め定義された閾値を満たす場合にのみ,即時報酬を蓄積する新しい手法である。
  論文  参考訳（メタデータ） (2025-08-14T11:37:02Z)
• RRO: LLM Agent Optimization Through Rising Reward Trajectories [52.579992804584464]
  大規模言語モデル (LLM) は様々なタスクにおいて異常な性能を示した。 実際には、エージェントは特定の重要なステップの結果に敏感で、タスクを失敗する可能性がある。 この問題を軽減するために,Reward Rising Optimization (RRO)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:27:54Z)
• SPA-RL: Reinforcing LLM Agents via Stepwise Progress Attribution [9.181156720071547]
  強化学習は、複雑な目標志向のタスクを扱うためのトレーニングエージェントの約束である。 フィードバック信号は通常、タスク全体が完了した後でのみ利用可能である。 我々は、最終報酬を段階的な貢献に分解するステップワイドプログレス属性を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:21:04Z)
• Rewarding Progress: Scaling Automated Process Verifiers for LLM Reasoning [90.23629291067763]
  大規模言語モデルにおける推論を改善するための有望なアプローチは、プロセス報酬モデル(PRM)を使用することである。 PRMは多段階の推論トレースの各ステップでフィードバックを提供し、結果報酬モデル(ORM)よりも信用割当を改善する可能性がある。 PRMに対して探索を行ったり、強化学習(RL)の報酬として使ったりすることで、基本方針を改善するために、「プロセス報酬をどう設計すべきか?」と質問する。 理論的には,良質なプロデューサの集合を特徴付けるとともに,このようなプロデューサからのプロセス報酬の最適化が,テスト時間探索やオンラインRLの探索を改善することを示す。
  論文  参考訳（メタデータ） (2024-10-10T17:31:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。