論文の概要: Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents

• arxiv url: http://arxiv.org/abs/2608.01913v1
• Date: Mon, 03 Aug 2026 08:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.415681
• Title: Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents
• Title（参考訳）: 長軸探索エージェントにおける探索挙動と故障モードの診断
• Abstract要約: ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。 本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。 我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
• 参考スコア（独自算出の注目度）: 63.2133766267587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep search agents answer difficult information-seeking questions by iteratively issuing search queries to gather supporting evidence, but it remains unclear whether and how greater search effort leads to better answers. We study these questions through a trajectory-level diagnosis of long-horizon search agents. Using human-annotated document-level relevance judgments, we evaluate the evidence retrieved at each search step and separate two stages of agent behavior: what evidence an agent retrieves and how effectively it uses that evidence. This distinction further allows us to decompose failures into retrieval gaps, where the necessary evidence is never found, and utilization gaps, where relevant evidence is retrieved but not used correctly. With the retrieval model and evaluation harness held fixed, we compare six agents on BrowseComp-Plus and further validate our findings on BrowseComp with an open-web search API. Across settings, we find that search effort and answer quality are only weakly aligned. Answer accuracy is better correlated with the quality of retrieved evidence, especially cumulative retrieval recall, than with the number of searches or the amount of context consumed. Useful evidence often appears early in the trajectory, yet agents tend to continue searching, producing a long tail of low-yield retrieval steps. At the query level, exploratory reformulations remain useful, but the best-performing agents issue far fewer redundant queries. Overall, by systematically characterizing the search behavior and failure modes of long-horizon search agents, this work points to practical directions for building better deep research systems, including stronger query formulation, more effective evidence selection and context management, and stopping criteria based on whether sufficient supporting evidence has been retrieved.
• Abstract（参考訳）: ディープ・サーチ・エージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索の質問に答えるが、検索の努力がどの程度の回答に繋がるかは定かではない。 本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。 人手による文書レベルの関連判断を用いて、各検索ステップで得られた証拠を評価し、エージェントの行動の2つの段階(エージェントがどのような証拠を取得するか、その証拠を効果的に利用するか)を分離する。 この区別により、必要な証拠が見つからない検索ギャップと、関連する証拠が回収されるが正しく使用されない利用ギャップに障害を分解することが可能になる。 BrowseComp-Plus の検索モデルと評価ハーネスを固定した上で,BrowseComp-Plus の6つのエージェントを比較し,BrowseComp の検索結果をオープンウェブ検索API と比較した。 セッティング全体を通じて、検索の努力と回答の品質は弱みにしか一致していないことが分かりました。 回答精度は、検索数や消費されたコンテキスト量よりも、検索された証拠、特に累積的な検索リコールの品質と相関する。 有効な証拠はしばしば軌道の早い段階で現れるが、エージェントは探索を続け、低収率の検索ステップの長い尾を生み出す傾向にある。 クエリレベルでは、探索的再構成は有用だが、最高のパフォーマンスのエージェントは、はるかに少ない冗長なクエリを発行する。 本研究は,長軸探索エージェントの探索行動と失敗モードを体系的に特徴付けることにより,より強力なクエリ定式化,より効果的なエビデンス選択とコンテキスト管理,そして十分な証拠が回収されたかどうかに基づいた基準の停止など,より深い研究システムを構築するための実践的な方向性を示す。

関連論文リスト

• SearchArt: Training Long-Horizon Search Agent with Scalable Synthetic and Verified Task [28.244711705405056]
  有能な検索エージェントの訓練は、スケーラブルで長期にわたるタスクが欠如しているため、依然として困難である。 本稿では,長距離検索エージェントを訓練するためのフレームワークであるSearchArtを紹介する。 SearchArtは、複雑な検索、研究、ユーザ指向タスクのための大規模なデータセットを構築する。
  論文  参考訳（メタデータ） (2026-07-25T06:47:46Z)
• R$^2$-Searcher: Calibrating Retrieval and Reasoning Boundaries for Agentic Search [59.034878430183305]
  R$2$-Searcherは、検索と推論の境界を明示的に探索し、校正する。 R$2$-Searcherは,解答精度と検索品質において,最先端のエージェント検索法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-06-26T19:44:34Z)
• FORT-Searcher: Synthesizing Shortcut-Resistant Search Tasks for Training Deep Search Agents [79.32220873172078]
  ディープ・サーチ・エージェントの訓練には、十分な証拠が検索を通じて取得されるまで回答が得られない検証可能な質問が必要である。 このギャップをショートカット対応の難易度フレームワークで形式化し、4つの実行可能なショートカットリスクを特定する。 このフレームワークによってガイドされたFORTは、ショートカット耐性トレーニングデータ合成のフレームワークである。
  論文  参考訳（メタデータ） (2026-06-10T13:49:11Z)
• AutoSearch: Adaptive Search Depth for Efficient Agentic RAG via Reinforcement Learning [52.305422887002656]
  本稿では,自己生成中間回答を用いて各探索ステップを評価する強化学習フレームワークを提案する。 自己回答機構により、AutoSearchは最小限の検索深度を特定し、効率的な検索を促進する。 実験の結果、AutoSearchは検索品質を維持しながら過剰検索を軽減し、精度と効率のトレードオフが優れていることがわかった。
  論文  参考訳（メタデータ） (2026-04-19T09:05:48Z)
• iAgentBench: Benchmarking Sensemaking Capabilities of Information-Seeking Agents on High-Traffic Topics [9.25340189071758]
  iAgentBenchは,クロスソース・センスメイキングのための動的ODQAベンチマークである。 iAgentBenchは、現実世界の注目信号からシードトピックを抽出し、共通のユーザ意図パターンを使用して、ユーザライクな質問を構築する。 各インスタンスには、トレース可能なエビデンスと、汚染チェックをサポートする監査可能な中間アーティファクトが付属している。
  論文  参考訳（メタデータ） (2026-03-04T22:40:08Z)
• Over-Searching in Search-Augmented Large Language Models [22.821710825732563]
  検索強化された大言語モデル(LLM)は、外部検索を統合することで知識集約的なタスクに優れる。 過剰探索は、無関係な文脈を取り入れることで、計算の非効率性と幻覚をもたらす。 以上の結果から, (i) 解答可能な問合せに対する解答精度は向上するが, 解答不可能な問合せに対する棄却を損なうこと, (ii) 過剰探索が複雑な推論モデルや深層研究システムにおいてより顕著であること, (iii) 否定的証拠の存在が棄却を改善していることが示唆された。
  論文  参考訳（メタデータ） (2026-01-09T03:24:46Z)
• SmartSearch: Process Reward-Guided Query Refinement for Search Agents [63.46067892354375]
  大言語モデル(LLM)に基づく検索エージェントは、知識集約的な問題に対処するために有望であることが証明されている。 既存の研究は主に、検索エージェントの推論パラダイムの最適化に重点を置いているが、推論中の中間的な検索クエリの品質は見過ごされ続けている。 この問題を緩和する2つの主要なメカニズムの上に構築されたフレームワークであるSmartSearchを紹介します。
  論文  参考訳（メタデータ） (2026-01-08T12:39:05Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• Coordinating Search-Informed Reasoning and Reasoning-Guided Search in Claim Verification [16.655011153015202]
  マルチホップクレーム検証のための階層型エージェント推論と情報検索(HARIS)を提案する。 HARISは、主検証チェーンの構築に集中し、より多くの情報が必要な場合に事実質問を生成する高レベル推論エージェントと、より多くの情報を反復的に検索する低レベル検索エージェントから構成される。 EX-FEVER と HOVER のベンチマーク実験の結果,HARIS は高い性能を示した。
  論文  参考訳（メタデータ） (2025-06-09T08:11:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。