論文の概要: TreeHCA: Hindsight-Guided Exploration and Credit Assignment for Multi-Turn LLM Agents

• arxiv url: http://arxiv.org/abs/2610.12828v1
• Date: Fri, 09 Oct 2026 00:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.327264
• Title: TreeHCA: Hindsight-Guided Exploration and Credit Assignment for Multi-Turn LLM Agents
• Title（参考訳）: TreeHCA:マルチTurn LLMエージェントの隠れ誘導探索とクレジットアサインメント
• Abstract要約: 我々は、後見誘導探索と後見クレジット割り当てを結合したTreeHCAを紹介する。 TreeHCAは、中間履歴とサンプルの代替継続を再考するために、参照-回答の確率の変化を使用する。 TreeHCAは7つの質問応答ベンチマークと3つのQwenバックボーンで、すべてのベースラインを正確な一致でパフォーマンスします。
• 参考スコア（独自算出の注目度）: 15.586935548160334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Outcome-supervised group-relative policy optimization (GRPO) assigns the same advantage to every token in an LLM agent trajectory, leaving useful and unhelpful decisions undifferentiated. Hindsight credit assignment (HCA) can refine this feedback, but its estimates rely on trajectories containing informative alternatives at consequential histories. We introduce TreeHCA, which couples hindsight-guided exploration with hindsight credit assignment. TreeHCA uses changes in reference-answer likelihood to revisit intermediate histories and sample alternative continuations, forming a tree of reasoning and tool interactions. Because this exploration changes the distribution of sampled continuations, we derive the corresponding inverse-hindsight importance correction, including an exact finite-pool identity. We use this structure in a normalized tree backup that propagates terminal outcomes into turn-level advantages. This shared hindsight structure is TreeHCA's central design principle, linking informative exploration with hindsight-guided credit assignment. Across seven question-answering benchmarks and three Qwen backbones, TreeHCA outperforms all baselines in aggregate exact match, validating the effectiveness of paired exploration and credit assignment for multi-turn LLM agent training. Our code is available at github.com/TheBlackCat22/TreeHCA.
• Abstract（参考訳）: GRPO(Outcome-supervised group-relative Policy Optimization)は、LLMエージェントの軌道における全てのトークンに同じ利点を割り当てる。 Hindsight Credit assignment (HCA) はこのフィードバックを洗練することができるが、その見積もりは連続した歴史における情報的代替物を含む軌跡に依存している。 我々は、後見誘導探索と後見クレジット割り当てを結合したTreeHCAを紹介する。 TreeHCAは、参照-回答の確率の変化を使用して、中間の歴史を再考し、代替の継続をサンプリングし、推論とツールの相互作用のツリーを形成する。 この探索はサンプル連続体の分布を変化させるので、正則な有限プール等式を含む、対応する逆方向の重要度補正を導出する。 この構造を正規化木バックアップに使用し、終端結果をターンレベルの利点に伝達する。 この共有後見構造は、ツリーHCAの中央設計原則であり、情報探索と後見誘導型信用割当を結びつけている。 7つの質問応答ベンチマークと3つのQwenバックボーンで、TreeHCAは総合的な正確な一致で全てのベースラインを上回り、マルチターンLDMエージェントトレーニングにおけるペア探索とクレジット割り当ての有効性を検証した。 私たちのコードはgithub.com/TheBlackCat22/TreeHCAで利用可能です。

関連論文リスト

• Causal Improvement Graph for Agentic Harness Optimization [85.77143316265415]
  因果改善グラフ(Causal Improvement Graph, CIG)は、永続グラフにおける改善状態の進化を外部化する、グラフが支配するメタハーネスフレームワークである。 CIGはノードをリンクして、観察されたこと、どのように説明されるか、その説明をテストする方法、そして評価が示すものを表す。
  論文  参考訳（メタデータ） (2026-10-04T08:15:37Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Reason in Chains, Learn in Trees: Self-Rectification and Grafting for Multi-turn Agent Policy Optimization [10.86007023031758]
  大規模言語モデルエージェントの強化学習は、多段階推論タスクにおけるスパース報酬によって妨げられることが多い。 本稿では,T-STARを提案する。T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T-STAR,T- STAR,T-STAR,T-STAR,
  論文  参考訳（メタデータ） (2026-04-08T14:55:29Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• Tree Search for LLM Agent Reinforcement Learning [23.7084695563981]
  Tree-based Group Relative Policy Optimization (Tree-GRPO) は、木探索に基づくグループ化エージェントRL法である。 共通のプレフィックスを共有することで、ツリー検索サンプリングは、達成可能なロールアウトの数を増やす。 木レベルでの相対的政策最適化の目的は、ステップレベルの直接選好学習と同等であることを示す。
  論文  参考訳（メタデータ） (2025-09-25T14:37:09Z)
• Lookback for Learning to Branch [77.32867454769936]
  Bipartite Graph Neural Networks (GNN) は、ディープラーニングに基づくMixed-Integer Linear Program (MILP) の重要コンポーネントであることが示されている。 近年の研究では、分岐とバウンド(B&B)の解法における分岐(可変選択)を置き換える上で、そのようなGNNの有効性が実証されている。
  論文  参考訳（メタデータ） (2022-06-30T02:33:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。