論文の概要: When Should LLMs Search? Counterfactual Supervision for Search Routing
- arxiv url: http://arxiv.org/abs/2607.05752v1
- Date: Tue, 07 Jul 2026 02:23:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.368546
- Title: When Should LLMs Search? Counterfactual Supervision for Search Routing
- Title（参考訳）: LLMはいつ検索すべきか? 検索ルーティングの事実上のスーパービジョン
- Abstract要約: 本研究は,非探索実行に対して,タスク成功を改善するために検索が必要であるかどうかを検討する。
タスク固有の成功に基づいてNO SEARCH,SEARCH,UNSOLVED上のオラクルを構築する。
我々は、教師付き微調整と選好最適化による検索ルーチンポリシーを訓練する。
- 参考スコア（独自算出の注目度）: 0.04144015562528761
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Search-augmented language models can use external evidence to compensate for limitations in parametric knowledge, but search is not uniformly beneficial: models may call search for questions they can already answer, or rely on noisy evidence when correction, clarification, or abstention would be more appropriate. We formulate this as an instance-level search-routing problem: deciding whether search is needed to improve task success relative to a no-search execution. To derive supervision, we compare no-search and forced-search outcomes for the same question and construct an oracle over NO SEARCH, SEARCH, and UNSOLVED based on task-specific success. Using this oracle as both an evaluation criterion and a learning signal, we train search-routing policies with supervised fine-tuning and preference optimization, improving routing macro-F1 on oracle-eligible examples from 0.7082 to 0.8235 for Gemma E2B and from 0.7053 to 0.8365 for Qwen3.5-4B. Further analysis shows that the learned policies reduce model-specific routing failures: Gemma primarily learns no-search restraint, while Qwen further reduces missed search; residual UNSOLVED cases reveal heterogeneous bottlenecks involving model capacity, retrieval budget, evidence use, and policy behavior.
- Abstract（参考訳）: 探索強化された言語モデルは、パラメトリック知識の制限を補うために外部証拠を使用することができるが、探索は均一に有益ではない。
我々はこれをインスタンスレベルのサーチルーティング問題として定式化し、サーチがno-searchの実行に対してタスクの成功を改善するために必要かどうかを判定する。
調査結果と強制検索結果を比較し,タスク固有の成功に基づいてNO SEARCH,SEARCH,UNSOLVED上のオラクルを構築した。
このオラクルを評価基準と学習信号の両方として使用し、教師付き微調整と選好最適化による探索ルーティングポリシーを訓練し、Gemma E2Bでは0.7082から0.8235に、Qwen3.5-4Bでは0.7053から0.8365に、オラクル対応のマクロF1を改良した。
Gemmaは主に検索の抑制を学習し、Qwenは検索の欠落を減らし、残余のUNSOLVEDケースはモデルキャパシティ、検索予算、エビデンス利用、ポリシー行動を含む異質なボトルネックを明らかにする。
関連論文リスト
- SearchMaster: Grounded and Regulated Self-Play for Search Agents [57.537666863340284]
検索エージェントの訓練には高品質な検索データが必要である。
既存のパイプラインは、人手によるタスクや専門家によるデモンストレーション、より強力な教師モデルに依存していることが多い。
本稿では,ローカル検索環境における検索タスクから,単一のLLMをトレーニングするセルフプレイフレームワークであるSearchMasterを提案する。
論文 参考訳（メタデータ） (2026-08-03T07:29:11Z) - SLMs as Multi-Agent Routers: A Progressive SFT and Reinforcement Learning Approach [35.31208793946578]
特殊検索エージェントは一般的に汎用検索よりも高品質な検索結果を呈する。
現在のアプローチでは、推測されたトピックや意図に基づいてクエリをルーティングするが、検索されたコンテンツからのシグナルは含まない。
我々は、教師付き微調整と強化学習により、小さな言語モデルを訓練することで、この問題に対処する。
論文 参考訳（メタデータ） (2026-07-15T11:11:39Z) - SearchSkill: Teaching LLMs to Use Search Tools with Evolving Skill Banks [32.240602087886494]
本稿では,再利用可能な検索スキルによってクエリ計画を明確にするフレームワークを提案する。
オープンソースモデルとクローズドソースモデル全体で、SearchSkillは知識集約型QAベンチマークの正確なマッチを改善している。
これらの結果は、明示的なスキル条件付きクエリプランニングが、未分化のアクションとして検索を扱うための軽量な代替手段であることを示唆している。
論文 参考訳（メタデータ） (2026-05-09T16:23:54Z) - SE-Search: Self-Evolving Search Agent via Memory and Dense Reward [87.79131676521656]
Retrieval augmented generation (RAG)は、検索した外部知識を条件づけることにより、大規模言語モデル(LLM)における幻覚や事実エラーを低減する。
既存の手法は、無関係または騒々しい文書を蓄積し、希少な強化学習信号に依存することが多い。
我々は,3つのコンポーネントによるオンライン検索行動を改善するセルフ進化検索エージェントであるtextbfSelf-textbfEvolving textbfSearchを提案する。
論文 参考訳（メタデータ） (2026-02-06T09:14:07Z) - AdaSearch: Balancing Parametric Knowledge and Search in Large Language Models via Reinforcement Learning [61.974530499621274]
検索への過度な依存は、ノイズや悪意のあるコンテンツに対する不必要なコストとリスクをもたらす。
本稿では,探索を起動するか否かの判断から問題を解き放つ2段階の結果駆動型RLフレームワークを提案する。
AdaSearchは知識境界認識を大幅に改善し、不要な検索コールを削減し、タスクパフォーマンスを強く保ち、透明性と解釈可能な意思決定行動を提供する。
論文 参考訳（メタデータ） (2025-12-18T18:50:01Z) - AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforced Self-Play [45.02121903138421]
AceSearcherは1つの大きな言語モデル(LLM)をトレーニングし、複雑なクエリを分解するデコンポスタと、検索したコンテキストを統合して回答生成するソルバという2つの役割を交互に行う。
10データセットにわたる3つの推論集約タスクの実験は、AceSearcherが最先端のベースラインを上回り、平均的な正確なマッチング改善を7.6%達成していることを示している。
論文 参考訳（メタデータ） (2025-09-29T02:14:30Z) - MMSearch-R1: Incentivizing LMMs to Search [49.889749277236376]
MMSearch-R1は,実世界のインターネット環境において,オンデマンドでマルチターン検索が可能な,初のエンドツーエンド強化学習フレームワークである。
本フレームワークは画像検索とテキスト検索の両方を統合し,検索ペナルティによる結果に基づく報酬によって,モデルがいつ,どのように呼び出すかの判断を可能にする。
論文 参考訳（メタデータ） (2025-06-25T17:59:42Z) - LLM-First Search: Self-Guided Exploration of the Solution Space [29.780554400938335]
大規模言語モデル(LLM)は、テスト時間計算の増加による推論と計画の大幅な改善を示している。
我々は,新しいTextitLLM Self-Guided Search法である textbfLLM-First Search (LFS) を提案する。
論文 参考訳（メタデータ） (2025-06-05T16:27:49Z) - SEM: Reinforcement Learning for Search-Efficient Large Language Models [26.075903427834838]
大きな言語モデル(LLM)は、推論だけでなく、外部ツールの呼び出しでもその能力を実証している。
既存の強化学習アプローチは、しばしば冗長な探索行動を引き起こす。
本研究では,学習後強化学習フレームワークであるSEMを提案する。
論文 参考訳（メタデータ） (2025-05-12T09:45:40Z) - ZeroSearch: Incentivize the Search Capability of LLMs without Searching [69.55482019211597]
我々はZeroSearchを紹介した。ZeroSearchは、学習中にシミュレーションされた検索を備えた実検索エンジンを使用するための、大規模言語モデルの能力を動機付けるフレームワークである。
提案手法は,LLMを有用な文書とノイズの両方を生成可能な検索モジュールに変換するための,軽量な教師付き微調整から始まる。
論文 参考訳（メタデータ） (2025-05-07T17:30:22Z) - ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning [74.65632662894086]
本稿では,強化学習を通じてLLMをReason with Searchに学習するフレームワークであるReSearchを提案する。
提案手法では,検索操作を推論チェーンの不可欠な要素として扱う。
分析によると、ReSearchは自然にリフレクションや自己訂正のような高度な推論機能を引き出す。
論文 参考訳（メタデータ） (2025-03-25T09:00:58Z) - RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering [42.66223628527439]
アダプティブ検索拡張生成(ARAG)は、不特定に検索するのではなく、クエリに対する検索の必要性を動的に決定することを目的としている。
この研究は、新しい世界とロングテール知識をカバーする1,271の短い形式の質問を含む、RetrievalQAというベンチマークを提示する。
論文 参考訳（メタデータ） (2024-02-26T09:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。