論文の概要: ASCT: Attentive Search over Counterfactual Trees for Credit Assignment in Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.35215v1
• Date: Mon, 28 Sep 2026 14:04:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:00:07.129446
• Title: ASCT: Attentive Search over Counterfactual Trees for Credit Assignment in Agentic Reinforcement Learning
• Title（参考訳）: ASCT:エージェント強化学習におけるクレジットアサインメントのための対実木に対する注意深い探索
• Abstract要約: 本稿では,多段階学習をローカルアクションクレジットに変換するフレームワークであるASCTを紹介する。 アクタービジター状態においては、補助木は同じ回復可能な接頭辞から別の法的行動を評価する。 このプロトコルは、アクターを単独でデプロイしながら、カウンターファクト評価とポリシー学習を結びつける。
• 参考スコア（独自算出の注目度）: 11.884248019673345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Terminal utility evaluates a complete agentic workflow, but learning requires credit for the decisions within it. We introduce Attentive Search over Counterfactual Trees (ASCT), a framework that turns training-time multi-step search into local action credit. At actor-visited states, an auxiliary tree evaluates alternative legal actions from the same recoverable prefix. Its action-value table is centered by the frozen actor's probabilities and supplies credit for PPO on actor-sampled trajectories. This protocol connects counterfactual evaluation to policy learning while deploying the actor alone. Uniform, UCT, and cost-aware AgentUCT instantiate the framework. On HotpotQA agentic retrieval-augmented generation, all three improve mean held-out utility over trajectory-return PPO and workflow-adapted VinePPO. Across three seeds, ASCT-AgentUCT reaches 0.6187 utility versus 0.5939 for VinePPO, with gains in answer F1 and execution cost, and uses 50.3% fewer recorded auxiliary Qwen tokens. Transfer and component-description studies examine the learned policies beyond the training setting.
• Abstract（参考訳）: 端末ユーティリティは完全なエージェントワークフローを評価するが、学習は内部の意思決定にクレジットを必要とする。 本稿では,多段階学習をローカルアクションクレジットに変換するフレームワークであるASCTを紹介する。 アクタービジター状態においては、補助木は同じ回復可能な接頭辞から別の法的行動を評価する。 アクションバリューテーブルは、凍結した俳優の確率を中心とし、俳優がサンプリングした軌道上でPPOのクレジットを提供する。 このプロトコルは、アクターを単独でデプロイしながら、カウンターファクト評価とポリシー学習を結びつける。 Uniform, UCT, and cost-aware AgentUCTはフレームワークをインスタンス化する。 HotpotQA のエージェント検索拡張生成では,3つともトラジェクトリ・リターン PPO とワークフロー適応 VinePPO よりも平均ホールドアウトユーティリティが向上している。 3つの種でASCT-AgentUCTは0.6187ユーティリティ、VinePPOは0.5939ユーティリティに達し、答えF1と実行コストは上昇し、記録された補助的なQwenトークンは50.3%減少している。 トランスファーおよびコンポーネント記述研究は、学習した方針をトレーニング環境を超えて検討する。

関連論文リスト

• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
  長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。 本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。 PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
  論文  参考訳（メタデータ） (2026-07-17T04:16:58Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• RTMC: Step-Level Credit Assignment via Rollout Trees [6.813908435773822]
  RTMC(Rollout-Tree Monte Carlo)の利点について述べる。 SWE-bench Verifiedでは、RTMCはGRPOよりもパス@1を3.2ポイント改善している。
  論文  参考訳（メタデータ） (2026-04-13T06:01:51Z)
• AutoResearch-RL: Perpetual Self-Evaluating Reinforcement Learning Agents for Autonomous Neural Architecture Discovery [5.110708177092157]
  本稿では、強化学習エージェントが人間の監督なしにオープンエンドニューラルネットワーク研究を行うためのフレームワークであるAutoResearch-RLを提案する。 我々はこれをマルコフ決定過程として定式化し、軽微な仮定の下で収束保証を導出し、1つのGPUナノチャット事前学習ベンチマークで経験的に実証する。
  論文  参考訳（メタデータ） (2026-03-07T17:49:44Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Conditionally Optimistic Exploration for Cooperative Deep Multi-Agent Reinforcement Learning [24.05715475457959]
  協調型マルチエージェント強化学習(MARL)における効率的な探索の重要性 本研究では,逐次的行動計算の考え方に基づく協調探索を効果的に促進する探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T02:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。