論文の概要: Beyond Outcome Rewards: Constructing and Assigning Retrieval Credit for Search Agents

• arxiv url: http://arxiv.org/abs/2610.10179v1
• Date: Wed, 07 Oct 2026 14:48:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.976834
• Title: Beyond Outcome Rewards: Constructing and Assigning Retrieval Credit for Search Agents
• Title（参考訳）: Outcome Rewards: 検索エージェントの検索クレジットの構築とアサイン
• Abstract要約: 本研究では,中間管理が検索エージェントの強化学習を改善する方法について検討する。 我々は,中間信号と最終結果の報奨を組み合わせた学習フレームワークを開発し,多段階探索軌道からの学習を改善する。
• 参考スコア（独自算出の注目度）: 25.774719001796182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Search agents enable Large Language Models (LLMs) to iteratively retrieve and use information for complex multi-hop questions. Reinforcement Learning with Verifiable Rewards (RLVR) offers a promising approach for post-training such agents, but its reliance on sparse, outcome-based supervision can make credit assignment difficult and limit learning efficiency. In this paper, we systematically investigate how intermediate supervision can improve reinforcement learning for search agents. We study a range of reward-shaping and credit-assignment strategies that provide learning signals from intermediate retrieval steps. Building on these insights, we develop a training framework that combines intermediate signals with final outcome rewards to improve learning from multi-step search trajectories. Experiments across multiple benchmarks under matched training conditions demonstrate improvements in aggregate search-agent performance and show that both the choice of intermediate signal and where its credit is assigned affect training behaviour. These findings show that reward design and credit assignment are important design dimensions for training effective search agents.
• Abstract（参考訳）: 検索エージェントは、LLM(Large Language Models)が複雑なマルチホップ質問の情報を反復的に検索し、利用することを可能にする。 Reinforcement Learning with Verifiable Rewards (RLVR) は、そのようなエージェントの訓練を後押しする有望なアプローチを提供するが、粗末で結果に基づく監督に依存しているため、クレジットの割り当てが難しくなり、学習効率が制限される。 本稿では,中間管理が検索エージェントの強化学習をどのように改善するかを体系的に検討する。 本研究では,中間的検索段階から学習信号を提供する報酬形成戦略と信用配分戦略について検討する。 これらの知見に基づいて、中間信号と最終結果報酬を組み合わせた学習フレームワークを開発し、多段階探索軌道からの学習を改善する。 一致したトレーニング条件下での複数のベンチマーク実験は、集約検索エージェントのパフォーマンスの改善を示し、中間信号の選択と、そのクレジットが割り当てられた場所の両方がトレーニング行動に影響を与えることを示す。 これらの結果は,効果的な検索エージェントの訓練において,報酬設計とクレジット割り当てが重要な設計次元であることを示唆している。

関連論文リスト

• CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
  CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。 この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
  論文  参考訳（メタデータ） (2026-04-19T17:48:17Z)
• Beyond Stochastic Exploration: What Makes Training Data Valuable for Agentic Search [5.481048072631037]
  本稿では,検索エージェントの性能向上と訓練を目的とした,階層的体験(HiExp)を提案する。 比較分析とマルチレベルクラスタリング機構を通じて経験的知識を抽出し,生の推論軌道を階層的経験知識に変換する。 提案手法は性能向上を実現し,強いクロスタスクとクロスアルゴリズムの一般化を示す。
  論文  参考訳（メタデータ） (2026-04-09T11:44:44Z)
• Learning to Retrieve from Agent Trajectories [72.8923565916533]
  我々はエージェント間相互作用データから直接エージェント探索のための検索モデルを訓練すべきであると主張している。 エージェント・トラジェクトリからの学習を新たな訓練パラダイムとして導入し,マルチステップエージェントのインタラクションから指導を導出する。 本研究は,エージェント探索時代における検索の方向性を示すとともに,エージェントトラジェクトリを実用的でスケーラブルな監視源として強調するものである。
  論文  参考訳（メタデータ） (2026-03-30T17:59:02Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。