論文の概要: Beyond Outcome Reward: Decoupling Search and Answering Improves LLM Agents

• arxiv url: http://arxiv.org/abs/2510.04695v1
• Date: Mon, 06 Oct 2025 11:09:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.820095
• Title: Beyond Outcome Reward: Decoupling Search and Answering Improves LLM Agents
• Title（参考訳）: アウトカム・リワードを超えて: 検索と回答の分離がLLMエージェントを改善した
• Abstract要約: DeSA(Decoupling Search-and-Answering)は,検索最適化と回答生成を明確に分離する単純な2段階トレーニングフレームワークである。 7つのQAベンチマークで、DeSAがトレーニングしたエージェントは検索の振る舞いを継続的に改善し、結果のみのベースラインよりも検索リコールと回答の精度が大幅に向上した。
• 参考スコア（独自算出の注目度）: 19.31471304268234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enabling large language models (LLMs) to utilize search tools offers a promising path to overcoming fundamental limitations such as knowledge cutoffs and hallucinations. Recent work has explored reinforcement learning (RL) for training search-augmented agents that interleave reasoning and retrieval before answering. These approaches usually rely on outcome-based rewards (e.g., exact match), implicitly assuming that optimizing for final answers will also yield effective intermediate search behaviors. Our analysis challenges this assumption: we uncover multiple systematic deficiencies in search that arise under outcome-only training and ultimately degrade final answer quality, including failure to invoke tools, invalid queries, and redundant searches. To address these shortcomings, we introduce DeSA (Decoupling Search-and-Answering), a simple two-stage training framework that explicitly separates search optimization from answer generation. In Stage 1, agents are trained to improve search effectiveness with retrieval recall-based rewards. In Stage 2, outcome rewards are employed to optimize final answer generation. Across seven QA benchmarks, DeSA-trained agents consistently improve search behaviors, delivering substantially higher search recall and answer accuracy than outcome-only baselines. Notably, DeSA outperforms single-stage training approaches that simultaneously optimize recall and outcome rewards, underscoring the necessity of explicitly decoupling the two objectives.
• Abstract（参考訳）: 大規模言語モデル(LLM)を検索ツールに活用することは、知識の遮断や幻覚といった基本的な限界を克服するための有望な道筋を提供する。 最近の研究は、回答する前に推論と検索をインターリーブする検索強化エージェントの訓練のための強化学習(RL)を探求している。 これらのアプローチは通常、結果に基づく報酬(例えば、正確な一致)に依存し、最終回答の最適化が効果的な中間探索行動をもたらすことを暗黙的に仮定する。 結果のみのトレーニングで発生する複数の体系的欠陥を発見し、最終的に最終回答の品質を低下させ、ツールの呼び出しの失敗、不正なクエリ、冗長な検索を行う。 これらの欠点に対処するため,DeSA(Decoupling Search-and-Answering)を導入し,検索最適化と回答生成を明確に分離する2段階トレーニングフレームワークを提案する。 ステージ1では、エージェントは検索効率を向上させるために、リコールベースの報酬によって訓練される。 ステージ2では、最終的な回答生成を最適化するために結果報酬が使用されます。 7つのQAベンチマークで、DeSAがトレーニングしたエージェントは検索の振る舞いを継続的に改善し、結果のみのベースラインよりも検索リコールと回答の精度が大幅に向上した。 特にDeSAは、リコールと結果報酬を同時に最適化するシングルステージトレーニングアプローチよりも優れており、この2つの目標を明示的に分離する必要性を強調している。

関連論文リスト

• CRISP: Critical Step Perception for Training Efficient Deep Search Agents [19.74419958232817]
  本稿では,効率的な深層探索エージェントを重要ステップ認識により訓練するフレームワークであるCRISPを提案する。 ツール使用を均一にペナルティ化する以前の効率の方法とは異なり、CRISPは冗長なものから必要な証拠を収集する相互作用を区別する。 実験の結果、CRISPは、平均的な相互作用をそれぞれ15.1%、33.2%減少させながら、競合する最終回答の精度を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-08-03T08:15:18Z)
• BiCAA: Bidirectional Credit Assignment for Search-Augmented Agent [7.0011576165695]
  BiCAAは、前向きの可解性向上と後続の成功臨界という2つの相補的なシグナルを融合することによって、双方向のプロセス報酬を構築する。 検索強化されたQAベンチマークの実験では、BiCAAはポリシー最適化を安定化し、冗長な探索動作を低減し、競争性能を達成する。
  論文  参考訳（メタデータ） (2026-08-02T15:41:57Z)
• Search-GRT: Guided Retrieval Training of Search Agents to Optimize for Complex Question Answering [12.14343275458333]
  本稿では,RL学習中の検索プロセスを制限することにより,検索エージェントの性能を向上させる新しい手法であるガイド検索訓練(GRT)を紹介する。 GRTは、検索-R1のような既存のメソッドよりも、広範囲の質問応答(QA)タスクで一貫したパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2026-08-02T03:55:08Z)
• CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
  CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。 この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
  論文  参考訳（メタデータ） (2026-04-19T17:48:17Z)
• AutoSearch: Adaptive Search Depth for Efficient Agentic RAG via Reinforcement Learning [52.305422887002656]
  本稿では,自己生成中間回答を用いて各探索ステップを評価する強化学習フレームワークを提案する。 自己回答機構により、AutoSearchは最小限の検索深度を特定し、効率的な検索を促進する。 実験の結果、AutoSearchは検索品質を維持しながら過剰検索を軽減し、精度と効率のトレードオフが優れていることがわかった。
  論文  参考訳（メタデータ） (2026-04-19T09:05:48Z)
• Cycle-Consistent Search: Question Reconstructability as a Proxy Reward for Search Agent Training [80.20022221643414]
  Cycle-Consistent Searchは、検索エージェントを訓練するための金色のスーパービジョンのないフレームワークである。 CCSは教師付きベースラインに匹敵する性能を示す。 これらの結果から,CCSは金の監督が不可能な環境で検索エージェントを訓練するためのスケーラブルな訓練パラダイムを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-04-14T17:00:18Z)
• PRAISE: Prefix-Based Rollout Reuse in Agentic Search Training [28.912613644535668]
  本稿では,エージェント検索訓練におけるデータ効率向上のためのフレームワークPRAISEを提案する。 本手法は,検索ポリシー学習とプレフィックス応答評価の両方に,単一の共有モデルを用いる。 マルチホップQAベンチマークの実験では、PRAISEは強いベースラインよりも一貫してパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-04-04T10:23:46Z)
• Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
  本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。 提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。 本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-03T15:32:09Z)
• Over-Searching in Search-Augmented Large Language Models [22.821710825732563]
  検索強化された大言語モデル(LLM)は、外部検索を統合することで知識集約的なタスクに優れる。 過剰探索は、無関係な文脈を取り入れることで、計算の非効率性と幻覚をもたらす。 以上の結果から, (i) 解答可能な問合せに対する解答精度は向上するが, 解答不可能な問合せに対する棄却を損なうこと, (ii) 過剰探索が複雑な推論モデルや深層研究システムにおいてより顕著であること, (iii) 否定的証拠の存在が棄却を改善していることが示唆された。
  論文  参考訳（メタデータ） (2026-01-09T03:24:46Z)
• SmartSearch: Process Reward-Guided Query Refinement for Search Agents [63.46067892354375]
  大言語モデル(LLM)に基づく検索エージェントは、知識集約的な問題に対処するために有望であることが証明されている。 既存の研究は主に、検索エージェントの推論パラダイムの最適化に重点を置いているが、推論中の中間的な検索クエリの品質は見過ごされ続けている。 この問題を緩和する2つの主要なメカニズムの上に構築されたフレームワークであるSmartSearchを紹介します。
  論文  参考訳（メタデータ） (2026-01-08T12:39:05Z)
• AdaSearch: Balancing Parametric Knowledge and Search in Large Language Models via Reinforcement Learning [61.974530499621274]
  検索への過度な依存は、ノイズや悪意のあるコンテンツに対する不必要なコストとリスクをもたらす。 本稿では,探索を起動するか否かの判断から問題を解き放つ2段階の結果駆動型RLフレームワークを提案する。 AdaSearchは知識境界認識を大幅に改善し、不要な検索コールを削減し、タスクパフォーマンスを強く保ち、透明性と解釈可能な意思決定行動を提供する。
  論文  参考訳（メタデータ） (2025-12-18T18:50:01Z)
• Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。 近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。 提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
  論文  参考訳（メタデータ） (2025-11-12T08:29:39Z)
• Beyond Correctness: Rewarding Faithful Reasoning in Retrieval-Augmented Generation [21.72639961371058]
  本稿では,RLに基づく検索エージェントを評価するための総合的な評価フレームワークを提案する。 忠実な推論を促進するために,よりきめ細かな忠実さ報酬を強化学習プロセスに統合する新しい枠組みであるVERITASを紹介する。
  論文  参考訳（メタデータ） (2025-10-15T08:17:52Z)
• HiPRAG: Hierarchical Process Rewards for Efficient Agentic Retrieval Augmented Generation [21.08814504507274]
  準最適探索行動は、オーバーサーチやアンダーサーチなど、広く存在する。 現在のトレーニング方法は、通常、RLフレームワークの成果ベースの報酬に依存するが、これらの非効率に対処するために必要なきめ細かい制御が欠如している。 我々は、RLトレーニングに詳細な知識に基づくプロセス報酬を組み込んだトレーニング手法であるHiPRAGを紹介する。
  論文  参考訳（メタデータ） (2025-10-09T05:13:10Z)
• RE-Searcher: Robust Agentic Search with Goal-oriented Planning and Self-reflection [55.125987985864896]
  環境の複雑さが脆弱な探索行動をいかに引き起こすかを定量的に分析する。 本稿では,検索エージェントRE-Searcherのインスタンス化をシンプルかつ効果的に行う手法を提案する。 この目標指向計画と自己回帰の組み合わせにより、RE-Searcherは複雑な検索環境における急激な手がかりに抵抗することができる。
  論文  参考訳（メタデータ） (2025-09-30T10:25:27Z)
• AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforced Self-Play [45.02121903138421]
  AceSearcherは1つの大きな言語モデル(LLM)をトレーニングし、複雑なクエリを分解するデコンポスタと、検索したコンテキストを統合して回答生成するソルバという2つの役割を交互に行う。 10データセットにわたる3つの推論集約タスクの実験は、AceSearcherが最先端のベースラインを上回り、平均的な正確なマッチング改善を7.6%達成していることを示している。
  論文  参考訳（メタデータ） (2025-09-29T02:14:30Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• Demystifying and Enhancing the Efficiency of Large Language Model Based Search Agents [9.862334188345791]
  大規模言語モデル(LLM)に基づく検索エージェントは,複雑なタスクを解く際,顕著な能力を示した。 LLMベースの検索エージェントのための高効率推論フレームワークであるSearchAgent-Xを紹介する。 SearchAgent-Xは、vLLMやHNSWベースの検索のような最先端システムよりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-05-17T16:07:01Z)
• SEM: Reinforcement Learning for Search-Efficient Large Language Models [26.075903427834838]
  大きな言語モデル(LLM)は、推論だけでなく、外部ツールの呼び出しでもその能力を実証している。 既存の強化学習アプローチは、しばしば冗長な探索行動を引き起こす。 本研究では,学習後強化学習フレームワークであるSEMを提案する。
  論文  参考訳（メタデータ） (2025-05-12T09:45:40Z)
• ZeroSearch: Incentivize the Search Capability of LLMs without Searching [69.55482019211597]
  我々はZeroSearchを紹介した。ZeroSearchは、学習中にシミュレーションされた検索を備えた実検索エンジンを使用するための、大規模言語モデルの能力を動機付けるフレームワークである。 提案手法は,LLMを有用な文書とノイズの両方を生成可能な検索モジュールに変換するための,軽量な教師付き微調整から始まる。
  論文  参考訳（メタデータ） (2025-05-07T17:30:22Z)
• ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning [74.65632662894086]
  本稿では,強化学習を通じてLLMをReason with Searchに学習するフレームワークであるReSearchを提案する。 提案手法では,検索操作を推論チェーンの不可欠な要素として扱う。 分析によると、ReSearchは自然にリフレクションや自己訂正のような高度な推論機能を引き出す。
  論文  参考訳（メタデータ） (2025-03-25T09:00:58Z)
• ReST-MCTS*: LLM Self-Training via Process Reward Guided Tree Search [50.45155830888697]
  ReST-MCTS*と呼ばれる強化された自己学習手法を開発し、プロセス報酬指導と木探索MCTS*を統合して、高品質な推論トレースを収集し、ポリシーや報酬モデルにステップごとの価値を学習する。 ReST-MCTS* における木探索ポリシーは,Best-of-N や Tree-of-Thought といった従来の LLM 推論ベースラインと比較して,同じ検索予算内で高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-06-06T07:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。