論文の概要: Search-GRT: Guided Retrieval Training of Search Agents to Optimize for Complex Question Answering
- arxiv url: http://arxiv.org/abs/2608.00974v1
- Date: Sun, 02 Aug 2026 03:55:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.040748
- Title: Search-GRT: Guided Retrieval Training of Search Agents to Optimize for Complex Question Answering
- Title（参考訳）: Search-GRT:複雑な質問応答を最適化する検索エージェントの検索指導
- Abstract要約: 本稿では,RL学習中の検索プロセスを制限することにより,検索エージェントの性能を向上させる新しい手法であるガイド検索訓練(GRT)を紹介する。
GRTは、検索-R1のような既存のメソッドよりも、広範囲の質問応答(QA)タスクで一貫したパフォーマンス改善を実現している。
- 参考スコア（独自算出の注目度）: 12.14343275458333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The effective use of search engines by large language models (LLMs) remains a significant challenge, particularly in complex, multi-hop question-answering (MHQA) tasks. These tasks require the model to decompose questions into subqueries, retrieve relevant information, and synthesize answers from multiple sources, often leading to cascading errors due to poor retrieval in early stages. Reinforcement learning (RL) has shown promise in improving LLMs' search capabilities, but it often suffers from sparse rewards during training, hindering the model's ability to learn effectively. To address these challenges, we introduce Guided Retrieval Training (GRT), a novel method that improves the performance of a search agent by restricting the retrieval process during RL training using ground truth information. By focusing on a curated set of relevant documents, GRT provides the model with a stronger learning signal, mitigating the problem of sparse rewards and improving its ability to generate accurate subqueries and synthesize correct answers. Our experimental results demonstrate that GRT achieves consistent performance improvements over existing methods, such as Search-R1, across a wide range of question-answering (QA) tasks. Notably, GRT excels in MHQA tasks, achieving over 40% improvements in performance. Additionally, GRT enhances training efficiency by achieving better QA performance with fewer training steps.
- Abstract（参考訳）: 大規模言語モデル(LLM)による検索エンジンの効果的な利用は、特に複雑なマルチホップ質問応答(MHQA)タスクにおいて重要な課題である。
これらのタスクでは、質問をサブクエリに分解し、関連する情報を取得し、複数のソースからの回答を合成する必要がある。
強化学習 (Reinforcement Learning, RL) は LLM の探索能力の向上に有望であるが, 訓練中の報酬の不足に悩まされ, モデルが効果的に学習する能力を妨げている。
これらの課題に対処するため,地中真実情報を用いたRL学習における検索プロセスを制限することにより,検索エージェントの性能を向上させる新しい手法であるガイド検索訓練(GRT)を紹介した。
関連文書のキュレートしたセットにフォーカスすることで、GRTはより強力な学習信号を提供し、スパース報酬の問題を緩和し、正確なサブクエリを生成し、正しい回答を合成する能力を向上させる。
実験の結果,GRT は検索-R1 などの既存手法に対して,広範囲な質問応答(QA) タスクで一貫した性能向上を実現していることがわかった。
特に、GRTはMHQAタスクに優れ、40%以上のパフォーマンス改善を実現している。
さらに、GRTはより少ないトレーニングステップでより良いQAパフォーマンスを達成することで、トレーニング効率を向上させる。
関連論文リスト
- SearchMaster: Grounded and Regulated Self-Play for Search Agents [57.537666863340284]
検索エージェントの訓練には高品質な検索データが必要である。
既存のパイプラインは、人手によるタスクや専門家によるデモンストレーション、より強力な教師モデルに依存していることが多い。
本稿では,ローカル検索環境における検索タスクから,単一のLLMをトレーニングするセルフプレイフレームワークであるSearchMasterを提案する。
論文 参考訳（メタデータ） (2026-08-03T07:29:11Z) - CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。
この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
論文 参考訳（メタデータ） (2026-04-19T17:48:17Z) - APEX-Searcher: Augmenting LLMs' Search Capabilities through Agentic Planning and Execution [10.643859464982071]
APEX-Searcherは、大規模言語モデル(LLM)検索能力を増強する新しいエージェントプランニングおよび実行フレームワークである。
戦略計画の最適化のために、まずRLを分解特異的な報酬として採用する。
その後、高品質なマルチホップ軌道の教師付き微調整を適用し、ロバストな反復的なサブタスク実行能力を持つモデルに装備する。
論文 参考訳（メタデータ） (2026-03-14T09:17:12Z) - Test-time Recursive Thinking: Self-Improvement without External Feedback [120.80790108733942]
TRT(Test-time Recursive Thinking)は、反復的な自己改善フレームワークである。
オープンソースモデルはAIME-25/24で100%精度に達し、LiveCodeBenchの最も難しい問題では、クローズドソースモデルは外部からのフィードバックなしで10.4-14.8ポイント改善されている。
論文 参考訳（メタデータ） (2026-02-03T04:37:37Z) - Empowering RepoQA-Agent based on Reinforcement Learning Driven by Monte-carlo Tree Search [70.63903518295785]
モンテカルロ木探索によるエージェント強化学習フレームワークRepoSearch-R1を紹介する。
RepoSearch-R1に基づいて,リポジトリ質問応答タスク用に設計されたRepoQA-Agentを構築する。
論文 参考訳（メタデータ） (2025-10-30T09:10:36Z) - Search Self-play: Pushing the Frontier of Agent Capability without Supervision [14.889394507446477]
本稿では,ディープサーチエージェントのためのセルフプレイトレーニングを提案する。
探索セルフプレイ(SSP)ゲームにおいて、提案者と解決者は、競争と協力の両面からエージェント能力を共同開発する。
SSPは、様々なベンチマークにおいて、いかなる監督も受けずに、検索エージェントのパフォーマンスを均一に向上させることができる。
論文 参考訳（メタデータ） (2025-10-21T17:19:35Z) - ReSeek: A Self-Correcting Framework for Search Agents with Instructive Rewards [18.928677157362088]
本稿では,検索エージェントを訓練するための自己修正フレームワークであるReSeekを提案する。
本フレームワークでは,誤探索経路からエージェントを動的に識別・復元する自己補正機構を導入している。
既存のデータセットにおけるデータ汚染のリスクを軽減するため、FictionalHotを導入する。
論文 参考訳（メタデータ） (2025-10-01T06:44:28Z) - RRO: LLM Agent Optimization Through Rising Reward Trajectories [52.579992804584464]
大規模言語モデル (LLM) は様々なタスクにおいて異常な性能を示した。
実際には、エージェントは特定の重要なステップの結果に敏感で、タスクを失敗する可能性がある。
この問題を軽減するために,Reward Rising Optimization (RRO)を提案する。
論文 参考訳（メタデータ） (2025-05-27T05:27:54Z) - Process vs. Outcome Reward: Which is Better for Agentic RAG Reinforcement Learning [45.10424242207931]
Retrieval-augmented Generation (RAG)は大規模言語モデル(LLM)のテキスト生成能力を向上する
RAG-ProGuideは,クエリ生成,エビデンス抽出,回答生成のためのプロセスレベルの報酬を提供する高品質なデータセットである。
プロセスレベルのポリシー最適化により、提案フレームワークはLLMに対して、検索を自律的に実行し、クエリを生成し、関連する証拠を抽出し、最終的な回答を生成する権限を与える。
論文 参考訳（メタデータ） (2025-05-20T08:21:00Z) - ZeroSearch: Incentivize the Search Capability of LLMs without Searching [69.55482019211597]
我々はZeroSearchを紹介した。ZeroSearchは、学習中にシミュレーションされた検索を備えた実検索エンジンを使用するための、大規模言語モデルの能力を動機付けるフレームワークである。
提案手法は,LLMを有用な文書とノイズの両方を生成可能な検索モジュールに変換するための,軽量な教師付き微調整から始まる。
論文 参考訳（メタデータ） (2025-05-07T17:30:22Z) - R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。
本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。
提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
論文 参考訳（メタデータ） (2025-03-07T17:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。