論文の概要: Retrieval, Reward, and Training Protocols: What Matters in Training Search Agents?

• arxiv url: http://arxiv.org/abs/2605.27881v2
• Date: Fri, 29 May 2026 02:01:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 13:54:20.998164
• Title: Retrieval, Reward, and Training Protocols: What Matters in Training Search Agents?
• Title（参考訳）: Retrieval, Reward, and Training Protocols: What Matters in Training Search Agents?
• Authors: Yibo Zhao, Zichen Ding, Jiayi Wu, Zun Wang, Xiang Li,
• Abstract要約: 本稿では,探索エージェント訓練の3つの未探索次元を分離する制御的実証的研究について述べる。 まず、広く使われているWikipedia 2018コーパスにおける重要なデータカバレッジの問題を特定し、それを修正するだけで、トレーニングアルゴリズムの違いよりも大きな利益が得られることを示す。 第2に、結果に基づく報酬法とプロセスに基づく報酬法を3つのベースモデルで体系的に比較し、最も単純な結果に基づくアプローチが、ほとんどの設定において、競争力や優れたパフォーマンスを達成することを発見した。 第三に、トレーニングデータの多様性、非政治データ利用、検索予算のスケーリングを分析し、効果的な検索エージェントの訓練のための実践的ガイドラインを精査する。
• 参考スコア（独自算出の注目度）: 15.605151408619895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Search agents powered by large language models can autonomously decompose queries, retrieve information, and synthesize answers through multi-step reasoning. However, the rapid growth of training methods has outpaced controlled comparison: existing works differ in retrieval corpora, reward designs, and training protocols, making it unclear what actually drives improvements. We present a controlled empirical study that isolates three under-explored dimensions of search agent training. First, we identify a critical data-coverage issue in the widely used Wikipedia 2018 corpus and show that correcting it alone yields larger gains than the differences between training algorithms. Second, we systematically compare outcome-based and process-based reward methods across three base models, finding that the simplest outcome-based approach achieves competitive or superior performance in most settings, and that process-level credit assignment can over-correct agent behavior. Third, we analyze training data diversity, off-policy data utilization, and search budget scaling, distilling practical guidelines for training effective search agents. Our code is available at https://github.com/YiboZhao624/SearchAgentReview.
• Abstract（参考訳）: 大規模言語モデルを利用した検索エージェントは、クエリを自律的に分解し、情報を検索し、多段階の推論を通じて回答を合成することができる。 既存の研究は、検索コーパス、報酬設計、トレーニングプロトコルが異なるため、何が実際に改善をもたらすのかは明らかになっていない。 本稿では,探索エージェント訓練の3つの未探索次元を分離する制御的実証的研究について述べる。 まず、広く使われているWikipedia 2018コーパスにおける重要なデータカバレッジの問題を特定し、それを修正するだけで、トレーニングアルゴリズムの違いよりも大きな利益が得られることを示す。 第2に,結果に基づく報酬法とプロセスに基づく報酬法を3つのベースモデルで体系的に比較し,最も単純な結果に基づくアプローチは,ほとんどの設定において競合的あるいは優れたパフォーマンスを達成し,プロセスレベルの信用代入がエージェントの振る舞いを過度に補正することを発見した。 第三に、トレーニングデータの多様性、非政治データ利用、検索予算のスケーリングを分析し、効果的な検索エージェントの訓練のための実践的ガイドラインを精査する。 私たちのコードはhttps://github.com/YiboZhao624/SearchAgentReview.comから入手可能です。

関連論文リスト

• $S^3$-R1: Learning to Retrieve and Answer Step-by-Step with Synthetic Data [2.003941363902692]
  S3-R1 (Synthetic data and stabilized Search R1) は、より高密度な学習信号とデータ中心のアプローチを結合するフレームワークである。 まず、既存の文書から多様なマルチホップ質問を導き出す合成生成とパイプラインを開発する。 次に、この拡張トレーニングセットを、中間探索品質と正解度の両方を評価する報奨構造と組み合わせる。
  論文  参考訳（メタデータ） (2026-05-02T05:01:05Z)
• CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
  CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。 この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
  論文  参考訳（メタデータ） (2026-04-19T17:48:17Z)
• PRAISE: Prefix-Based Rollout Reuse in Agentic Search Training [28.912613644535668]
  本稿では,エージェント検索訓練におけるデータ効率向上のためのフレームワークPRAISEを提案する。 本手法は,検索ポリシー学習とプレフィックス応答評価の両方に,単一の共有モデルを用いる。 マルチホップQAベンチマークの実験では、PRAISEは強いベースラインよりも一貫してパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-04-04T10:23:46Z)
• Learning to Retrieve from Agent Trajectories [72.8923565916533]
  我々はエージェント間相互作用データから直接エージェント探索のための検索モデルを訓練すべきであると主張している。 エージェント・トラジェクトリからの学習を新たな訓練パラダイムとして導入し,マルチステップエージェントのインタラクションから指導を導出する。 本研究は,エージェント探索時代における検索の方向性を示すとともに,エージェントトラジェクトリを実用的でスケーラブルな監視源として強調するものである。
  論文  参考訳（メタデータ） (2026-03-30T17:59:02Z)
• KARL: Knowledge Agents via Reinforcement Learning [63.627906947205624]
  本稿では,強化学習による企業検索エージェントの訓練システムを提案する。 KARLBenchは、6つの異なる検索レギュレーションにまたがる多機能評価スイートである。 異種探索行動で訓練されたモデルは、どのベンチマークにも最適化されたモデルよりもかなりよく一般化されていることを示す。
  論文  参考訳（メタデータ） (2026-03-05T14:30:25Z)
• Divide and Conquer: Hybrid Pre-training for Person Search [40.13016375392472]
  本研究では,サブタスクデータのみを用いた人物検索のためのハイブリッド事前学習フレームワークを提案する。 我々のモデルは、人物探索法、微調整データ、事前学習データ、モデルバックボーンなど、多様なプロトコルで大幅に改善できる。 私たちのコードと事前訓練されたモデルは、人検索コミュニティにプラグイン・アンド・プレイの使用のためにリリースされます。
  論文  参考訳（メタデータ） (2023-12-13T08:33:50Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Benchmarking Neural Network Training Algorithms [52.890134877995195]
  トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-06-12T15:21:02Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。