論文の概要: SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents

• arxiv url: http://arxiv.org/abs/2608.05212v1
• Date: Wed, 05 Aug 2026 09:09:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.747121
• Title: SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents
• Title（参考訳）: Search Auditor: 長距離検索エージェントにおける障害の監査と帰属
• Abstract要約: 我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
• 参考スコア（独自算出の注目度）: 56.400332595452966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep search agents tackle challenging questions through long-horizon web interactions, a process that is both complex and fragile: small reasoning errors may propagate through long, noisy trajectories into fluent but incorrect answers. Diagnosing such failures is difficult, requiring the manual inspection of extremely long execution traces, which could be beyond human capacity. We therefore introduce SearchAuditBench, a benchmark that evaluates whether LLM auditors can localize, attribute, and repair these failures, thereby reducing the human burden. SearchAuditBench comprises 1,243 failed trajectories, averaging 73.1 messages and 65.1K tokens, collected from eight open-weight models on five deep-search benchmarks, each expert-annotated with the critical error step, a search-specific root cause, and a reference repair with grading rubrics. We further propose SearchAuditor, a multi-perspective auditing framework that effectively localizes, attributes, and repairs search-agent failures through evidence-grounded adjudication. Experimental results show that even the strongest baseline, when powered by a frontier model like GPT-5.5, attains only a 26.6% end-to-end pass rate. In contrast, our SearchAuditor consistently outperforms all baselines across different frontier models, achieving an end-to-end pass rate of 32.3%, and resuming failed runs with its repairs enables agents to better recover from errors.
• Abstract（参考訳）: ディープ・サーチ・エージェント(Deep search agent)は、長い水平なウェブインタラクションを通じて難しい問題に取り組む。 このような障害の診断は困難であり、極めて長い実行トレースを手動で検査する必要がある。 そこで我々は,LLM監査員がこれらの障害をローカライズし,属性付けし,修復できるかどうかを評価するベンチマークであるSearchAuditBenchを導入する。 SearchAuditBenchは1,243の障害トラックで構成され、73.1メッセージと65.1Kトークンを平均化し、5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集した。 さらに,エビデンスに基づく判断による検索エージェントの障害を効果的にローカライズ,属性,修復する多視点監査フレームワークであるSearchAuditorを提案する。 実験の結果、GPT-5.5のようなフロンティアモデルで駆動される最強のベースラインでさえ、エンド・ツー・エンドのパスレートは26.6%であることがわかった。 対照的に、SearchAuditorは、さまざまなフロンティアモデルで一貫してすべてのベースラインを上回り、エンドツーエンドのパスレート32.3%を達成し、その修復で失敗した実行を再開することで、エージェントがエラーから回復することを可能にする。

関連論文リスト

• How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks [6.001213285107465]
  AutoResearchEvalは、7つの科学領域にまたがるフロンティア科学に根ざした100のタスクを特徴としている。 8つのハーネスモデルの組み合わせを評価すると、800個のオート検索剤の軌道が得られる。 我々は,人間のキャリブレーションしたエージェント・アズ・ア・ジャッジ・パイプラインを利用して,完全な軌道や中間成果物を検査する。
  論文  参考訳（メタデータ） (2026-08-14T21:39:38Z)
• ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment [66.45065414461274]
  ロングホライゾン検索エージェントは、最終的な答えを得るために証拠を検索、検索、検証、統合するための複数のシーケンシャルなアクション(ステップ)をしなければならない。 本稿では,長距離検索エージェントを訓練するためのきめ細かい信用割当てフレームワークであるAnswer-Backtracked Credit Assignment (ABC)を提案する。 ABCは、スパース軌跡レベルの結果を、誤動作や冗長な動作を抑えながら、有用な動作(たとえ軌道が失敗しても)を報いるような、密度の高いステップレベルの監視に変換する。
  論文  参考訳（メタデータ） (2026-08-05T17:41:31Z)
• SearchMaster: Grounded and Regulated Self-Play for Search Agents [57.537666863340284]
  検索エージェントの訓練には高品質な検索データが必要である。 既存のパイプラインは、人手によるタスクや専門家によるデモンストレーション、より強力な教師モデルに依存していることが多い。 本稿では,ローカル検索環境における検索タスクから,単一のLLMをトレーニングするセルフプレイフレームワークであるSearchMasterを提案する。
  論文  参考訳（メタデータ） (2026-08-03T07:29:11Z)
• HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning [14.484579581234327]
  マルチホップ検索における拒絶の最初のベンチマークであるHopRefusalBenchを紹介する。 根、中、終端位相の3つの解答不可能な原因を横切る。 本稿では,目標認識の拒絶,疑似拒絶,幻覚的完了,探索予算の枯渇にまたがる最終アウトカム分類を提案する。
  論文  参考訳（メタデータ） (2026-08-02T16:20:55Z)
• Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
  最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。 2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。 我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
  論文  参考訳（メタデータ） (2026-06-01T10:50:26Z)
• BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent [74.10138164281618]
  BrowseComp-Plus(BrowseComp-Plus)は、BrowseCompから派生したベンチマークである。 このベンチマークは、ディープリサーチエージェントと検索方法の総合的な評価とアンタングル解析を可能にする。
  論文  参考訳（メタデータ） (2025-08-08T17:55:11Z)
• SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
  Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。 本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。 我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
  論文  参考訳（メタデータ） (2024-09-11T17:37:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。