論文の概要: Benchmarking and Error Analysis of Deep Search and Deep Research LLM Agents

• arxiv url: http://arxiv.org/abs/2610.29346v1
• Date: Wed, 21 Oct 2026 07:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.277409
• Title: Benchmarking and Error Analysis of Deep Search and Deep Research LLM Agents
• Title（参考訳）: ディープサーチおよびディープリサーチLLMエージェントのベンチマークと誤差解析
• Abstract要約: 大規模言語モデル(LLM)は、自律的なDeep SearchとDeep Research Agentsに進化し、長時間のマルチステップタスクを実行することができる。 既存の評価パラダイムは主に最終タスクの結果に焦点を当てており、中間実行トレースを理解するための大きなギャップを残しています。 中間点におけるエラーの診断に特化して設計された包括的方法論と分析フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 42.99617229385725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) evolve into autonomous Deep Search and Deep Research Agents capable of executing long-horizon, multi-step tasks, evaluating their reliability becomes increasingly critical. However, existing evaluation paradigms predominantly focus on final task outcomes, leaving a significant gap in understanding the intermediate execution traces, where agents are highly susceptible to various errors. To address this critical gap, we introduce a comprehensive methodology and analytical framework designed specifically to diagnose errors in intermediate workflows. Building upon this framework, we establish a structured taxonomy that categorizes these vulnerabilities into two primary dimensions: System-Level Errors and Task-Level Errors. Through a systematic examination of step-by-step execution traces and agent-environment interactions, we reveal how these underlying errors affect overall performance. Finally, through empirical experiments and systematic analysis of the identified error types, we provide actionable design guidelines, aiming to enhance the robustness, reasoning capabilities, and reliability of Deep Search and Deep Research agents.
• Abstract（参考訳）: 大規模言語モデル(LLM)が自律的なDeep SearchやDeep Research Agentsへと進化するにつれ、その信頼性の評価がますます重要になる。 しかし、既存の評価パラダイムは最終タスクの結果に主に焦点を合わせており、エージェントが様々なエラーに対して非常に影響を受けやすい中間実行トレースを理解するための大きなギャップを残している。 この重要なギャップに対処するために、中間ワークフローにおけるエラーの診断に特化して設計された包括的な方法論と分析フレームワークを導入する。 この枠組みに基づいて、これらの脆弱性をシステムレベルエラーとタスクレベルエラーの2つの主要な次元に分類する構造的な分類を確立します。 ステップ・バイ・ステップの実行トレースとエージェント・環境相互作用を系統的に調べることで,これらのエラーが全体的なパフォーマンスに与える影響を明らかにする。 最後に、同定されたエラータイプに関する実証実験と体系的な分析を通じて、我々は、Deep SearchおよびDeep Researchエージェントの堅牢性、推論能力、信頼性を高めることを目的とした、実行可能な設計ガイドラインを提供する。

関連論文リスト

• AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations [6.4504964097499835]
  本研究は、現在のフロンティアモデルのロバスト性を定量化し、摂動誘起故障のメカニズムを辿り、ロバストネス指向トレーニングに影響を及ぼす。 軌道レベルの分析により、エージェントは変更された入力をほとんど認識せず、検証せずに、しばしば破損した情報を伝播することが明らかになった。 これらの知見は、ノイズや報酬の検証、不確実性認識、回復の様々な形態をカバーする訓練目標を動機付けている。
  論文  参考訳（メタデータ） (2026-10-15T10:05:54Z)
• Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
  我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。 我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
  論文  参考訳（メタデータ） (2026-03-20T16:27:17Z)
• AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems [7.429835301272413]
  フレームワークには15の障害検出ツールと2つの根本原因分析モジュールが含まれている。 軽量なルールベースのチェックとLDM-as-a-judgeアセスメントを統合し、構造化インシデント検出、分類、修復をサポートする。 我々は、このフレームワークをIBM CUGAに適用し、AppWorldとWebArenaベンチマークのパフォーマンスを評価した。
  論文  参考訳（メタデータ） (2026-02-18T14:55:35Z)
• Agent-as-a-Judge [20.902198303020693]
  LLM-as-a-Judgeは、スケーラブルな評価に大規模言語モデルを活用することで、AI評価に革命をもたらした。 評価が複雑化し、専門化され、多段階化されるにつれて、LLM-as-a-Judgeの信頼性は、固有のバイアス、浅いシングルパス推論、現実世界の観測に対する評価の欠如によって制約されている。 これはエージェント・アズ・ア・ジャッジ(Agen-as-a-Judge)への移行を触媒し、エージェント・ジャッジは計画、ツール強化された検証、マルチエージェント・コラボレーション、永続メモリを採用し、より堅牢で検証可能な、ニュアンスな評価を可能にする。
  論文  参考訳（メタデータ） (2026-01-08T16:58:10Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• Rethinking Evaluation of Infrared Small Target Detection [105.59753496831739]
  本稿では,画素レベルと目標レベルのパフォーマンスを取り入れたハイブリッドレベルのメトリクスを導入し,システム的エラー解析手法を提案し,クロスデータセット評価の重要性を強調した。 標準化されたベンチマークを容易にするオープンソースツールキットがリリースされた。
  論文  参考訳（メタデータ） (2025-09-21T02:45:07Z)
• Detecting Pipeline Failures through Fine-Grained Analysis of Web Agents [0.48156730450374763]
  この研究は既存のベンチマークを分析し、きめ細かい診断ツールの欠如を強調している。 本稿では,エージェントパイプラインを解釈可能なステージに分解し,詳細なエラー解析を行うモジュール評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-17T19:34:49Z)
• An Empirical Study on Failures in Automated Issue Solving [12.571536148821144]
  我々は,SWE-Bench-Verifiedの自動問題解決タスクにおいて,パイプラインベースとエージェントアーキテクチャの両方にまたがる3つのSOTAツールの性能と効率を分析する。 ハイレベルなパフォーマンス指標から根本原因分析に移行するために,150件の障害事例の体系的手動分析を行った。 その結果、2つのアーキテクチャパラダイムの間には明確な失敗の指紋が明らかとなり、ほとんどのエージェント的失敗は、欠陥のある推論と認知的デッドロックに起因する。
  論文  参考訳（メタデータ） (2025-09-17T13:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。