論文の概要: LongSearchEval: Evaluating Long-Horizon Web Search Capabilities of Large Language Models via a Trajectory-Aware Agent Framework with Failure-Node Localization

• arxiv url: http://arxiv.org/abs/2610.35150v1
• Date: Mon, 26 Oct 2026 10:15:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.825309
• Title: LongSearchEval: Evaluating Long-Horizon Web Search Capabilities of Large Language Models via a Trajectory-Aware Agent Framework with Failure-Node Localization
• Title（参考訳）: LongSearchEval: 障害ノードローカライゼーションを備えたトラジェクトリ・アウェア・エージェント・フレームワークによる大規模言語モデルの長距離Web検索機能の評価
• Abstract要約: ロングホライゾンウェブサーチでは、エージェントはタスク固有の制約の下で拡張されたインタラクションを通じて、Webページをまたいだ情報を統合する必要がある。 既存の評価は、主にシミュレーションされた軌跡や最終回答から再構築されたポストホック軌跡に依存している。 LONGSEARCHEVALは,統合されたエージェント実行プロトコルとソース制約された結果検証,およびリフレクション障害ノードのローカライゼーションを組み合わせた,トラジェクトリ対応エージェント評価フレームワークである。
• 参考スコア（独自算出の注目度）: 2.5387090319723713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon web search requires LLM-based agents to integrate information across web pages through extended interactions under task-specific constraints. Evaluating this capability is important not only for measuring final answer quality, but also for assessing whether an agent acquires, verifies, and uses evidence reliably over extended interactions. Existing evaluations, however, mainly rely on simulated trajectories or on post-hoc trajectories reconstructed from final answers, rather than on retained real interaction traces, which limits the fidelity of behavioral assessment and weakens support for fine-grained error localization. To address this gap, we introduce LONGSEARCHEVAL, a trajectory-aware agent evaluation framework that combines a unified agent execution protocol with source constrained outcome verification and retrospective failure-node localization. Stage 1 verifies answer groups against agent-cited webpages without human-authored gold answers; Stage 2 audits normalized rounds and links flagged failure nodes to incorrect answer groups. We evaluate 16 models from eight families on 100 tasks, yielding 1,600 retained runs and 6,545 automatically flagged failure nodes. Trajectory collection and evaluation required 1,037 and 318 hours of cumulative runtime, respectively. Human validation yields 94.50% agreement on supplied answer-group labels and 98.11% feature-correspondence precision for audited round-group links. Together, outcome scores and linked trajectory evidence support controlled model comparison and retrospective inspection of answer-related content.
• Abstract（参考訳）: ロングホライゾンWebサーチでは、LLMベースのエージェントが、タスク固有の制約の下で拡張されたインタラクションを通じて、Webページをまたいだ情報を統合する必要がある。 この能力を評価することは、最終回答の品質を測定するだけでなく、エージェントが拡張された相互作用に対して確実に証拠を取得し、検証し、利用するかどうかを評価するためにも重要である。 しかし、既存の評価は、行動評価の忠実さを制限し、きめ細かな誤差ローカライゼーションのサポートを弱める実際の相互作用トレースよりも、主にシミュレーションされた軌跡や最終回答から再構成されたポストホックな軌跡に頼っている。 このギャップに対処するために、統一されたエージェント実行プロトコルとソース制約された結果検証とリフレクション障害ノードのローカライゼーションを組み合わせたトラジェクトリ対応エージェント評価フレームワークであるLONGSEARCHEVALを導入する。 ステージ2は正常化されたラウンドを監査し、フラグ付き障害ノードを誤った回答グループにリンクする。 100のタスクで8つのファミリーから16のモデルを評価し、1,600の保持実行と、6,545の自動フラグ付き障害ノードを生成しました。 軌道収集と評価にはそれぞれ1,037時間と318時間の累積実行時間が必要だった。 人間の検証は、提供された回答グループラベルに対する94.50%の合意と、監査されたラウンドグループリンクに対する特徴対応精度98.11%を得る。 結果スコアとリンクされた軌跡エビデンスにより,回答関連コンテンツのモデル比較とふりかえり検査を制御できる。

関連論文リスト

• BRIDGE: Selective Boundary Repair with Dependency Graph Evidence in Multi-Agent Systems [59.26551527044981]
  methodは、ハンドオフ修復を明示的な依存性の摂動に対する選択的介入として扱うランタイム制御フレームワークである。 SILO-BENCHでは12.3パーセンテージ、TeamBenchでは11.1ポイントまでタスクの成功を加速させる。
  論文  参考訳（メタデータ） (2026-10-13T06:31:57Z)
• Phantom Merge: When Your Large Language Model Agents Pick One but Tell You About Another [16.151531550259993]
  Phantom Merge (PM) は、エージェントがコミットされたエンティティをアトリビュートするエンティティ-エビデンスバインディングの障害である。 本稿では,クレームレベルのリスク推定と修正のための2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-12T04:01:45Z)
• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
  MeshHealは、完全に分散化された自己修復フレームワークである。 能力にマッチしたピアレビューを2つのタイムスケールに分けている。 1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
  論文  参考訳（メタデータ） (2026-09-24T04:29:37Z)
• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
  我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:09:00Z)
• Self-Healing Agentic Orchestrators for Reliable Tool-Augmented Large Language Model Systems [0.10210859604701106]
  セルフヒーリングエージェントオーケストレータは、信頼性をランタイム境界制御問題として扱う。 セルフヒーリングは98.8%のタスク成功を達成し、リトライオンリーでは94.5%、フルリプランでは93.8%を達成している。
  論文  参考訳（メタデータ） (2026-05-31T19:27:22Z)
• ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
  ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。 ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-21T07:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。