論文の概要: Hindsight Credit Assignment over Trees for Agentic RL

• arxiv url: http://arxiv.org/abs/2611.02706v1
• Date: Mon, 02 Nov 2026 07:56:53 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:25:28.401722
• Title: Hindsight Credit Assignment over Trees for Agentic RL
• Title（参考訳）: エージェントRL用木上の隠れクレディ・アサインメント
• Abstract要約: 本研究では,希少な成功を探索・学習信号に変換する木に基づく強化学習フレームワークを提案する。 実験により, モデルスケールでのタスク性能とロールアウト効率が一貫した向上を示した。
• 参考スコア（独自算出の注目度）: 17.9236235237775
• License:
• Abstract: Reinforcement learning for long-horizon LLM agents faces a fundamental dilemma: successful experiences are essential for policy improvement, yet limited policy capabilities make such experiences difficult to discover. Sparse outcome rewards compound this challenge, leaving sampled trajectories with little relative feedback for learning. In this paper, we propose TriGRPO, a tree-based reinforcement learning framework that turns scarce successes into exploration and learning signals through hindsight credit assignment within and across rollout trees. TriGRPO constructs rollout trees through hindsight-guided branching: when an ongoing trajectory reaches a matched decision state, a successful action discovered during rollout initiates a sibling branch that continues autonomously, enabling further exploration and parent-sibling comparisons. Three complementary groups organize policy optimization over these trees: root groups capture within-prompt relative returns, node groups assign credit from parent-sibling outcome differences, and cross groups supplement sparse feedback with historical performance on related tasks. Experimental results demonstrate consistent gains in task performance and rollout efficiency across model scales, highlighting structured hindsight credit assignment as an effective approach to long-horizon agent learning.
• Abstract（参考訳）: LLMエージェントの強化学習は基本的なジレンマに直面している: 成功経験は政策改善に不可欠であるが、限られた政策能力はそのような経験を発見するのを困難にしている。 スパースの結果の報酬はこの課題を複雑にし、サンプルの軌跡を学習のための相対的なフィードバックはほとんど残さない。 本稿では,TriGRPOを提案する。TriGRPOは,伐採木内およびロールアウト木間における暗黙のクレジット割り当てを通じて,希少な成功を探索・学習信号に変換する,木に基づく強化学習フレームワークである。 進行中の軌道が一致した決定状態に達すると、ロールアウト中に発見されたアクションは、自律的に継続する兄弟枝を起動し、さらなる探索と親姉妹比較を可能にする。 3つの相補的なグループがこれらの木に対するポリシー最適化を組織している: ルート群は、確率内からの相対的なリターンをキャプチャし、ノード群は、親姉妹の成果差からクレジットを割り当て、クロス群は、関連するタスクに関する歴史的なパフォーマンスに関するスパースフィードバックを補う。 実験結果から,長期エージェント学習への効果的なアプローチとして,モデルスケールにおけるタスク性能とロールアウト効率が一貫した向上を示した。

関連論文リスト

• Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning [60.75091491636976]
  TreeOPSDは、長距離エージェント強化学習のための、批判のない、木を意識した後部自己蒸留フレームワークである。 複数の競合ベンチマークとモデルスケールでエージェント機能を改善する。
  論文  参考訳（メタデータ） (2026-10-16T09:17:26Z)
• Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
  長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。 本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。 PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
  論文  参考訳（メタデータ） (2026-07-17T04:16:58Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Enhancing LLM-based Search Agents via Contribution Weighted Group Relative Policy Optimization [47.7937991619078]
  本稿では,プロセスの監督をグループ相対的な政策最適化に統合するフレームワークであるコントリビューション重み付きGRPOを提案する。 CW-GRPOは、LLM判定器を用いて、検索ラウンド毎の検索ユーティリティと推論精度を評価し、ラウンド毎のコントリビューションスコアを生成する。 複数の知識集約型ベンチマークの実験では、CW-GRPOはQwen3-8Bでは5.0%、Qwen3-1.7Bでは6.3%、標準GRPOより優れていた。
  論文  参考訳（メタデータ） (2026-04-15T17:37:59Z)
• Reason in Chains, Learn in Trees: Self-Rectification and Grafting for Multi-turn Agent Policy Optimization [10.86007023031758]
  大規模言語モデルエージェントの強化学習は、多段階推論タスクにおけるスパース報酬によって妨げられることが多い。 本稿では,T-STARを提案する。T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T- STAR,T-STAR,T-STAR,
  論文  参考訳（メタデータ） (2026-04-08T14:55:29Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• Tree Search for LLM Agent Reinforcement Learning [23.7084695563981]
  Tree-based Group Relative Policy Optimization (Tree-GRPO) は、木探索に基づくグループ化エージェントRL法である。 共通のプレフィックスを共有することで、ツリー検索サンプリングは、達成可能なロールアウトの数を増やす。 木レベルでの相対的政策最適化の目的は、ステップレベルの直接選好学習と同等であることを示す。
  論文  参考訳（メタデータ） (2025-09-25T14:37:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。