論文の概要: AgentHop: A Diagnostic Benchmark for Agentic Multi-Hop Scientific Question Answering

• arxiv url: http://arxiv.org/abs/2609.34428v1
• Date: Mon, 28 Sep 2026 06:45:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 20:48:25.821479
• Title: AgentHop: A Diagnostic Benchmark for Agentic Multi-Hop Scientific Question Answering
• Title（参考訳）: AgentHop: エージェント型マルチホップ科学質問応答のための診断ベンチマーク
• Abstract要約: AgentHopは、コントロールされた7ツールのサンドボックスと組み合わせた1,011のマルチチョイス質問の診断ベンチマークである。 AgentHopは、エージェント操作の4つの軸に沿って1つの精度スコアを分離することで、モデルの脆弱性を明らかにする。 診断エージェントベンチマークをサポートするための全ベンチマークセットとハーネスをリリースする。
• 参考スコア（独自算出の注目度）: 21.508732915381785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic tasks require a large language model to interact with the world, navigating information and gathering evidence across multiple steps with restricted resources. Due to this complexity, agentic task failures arise from various sources, and pinpointing these failure causes is essential to diagnose and improve agentic systems. Existing benchmarks, however, tend to focus on a single leaderboard score, leaving the underlying failure modes opaque. To fill this gap, we introduce AgentHop, a diagnostic benchmark of 1,011 multiple-choice questions paired with a controlled seven-tool sandbox under fixed token, turn, and tool-call constraints. AgentHop reveals model vulnerabilities by dissecting a single accuracy score along four axes of agent operation: retrieval, synthesis, tool-call, and resource management. Across 19 models, we find that behavior clusters by model family, with tool-call signatures revealing distinct family fingerprints: GPT models commit early, Anthropic and GLM checkpoints verify before committing, DeepSeek and Kimi over-search, and Gemini-3 Pro stays balanced. Decomposed axes further expose within-family structure: Claude Opus 4.6 and Sonnet 4.6 land within one accuracy point yet diverge on retrieval-versus-synthesis emphasis, with Opus retrieving more and Sonnet synthesizing better. We release the full benchmark set and the harness to support diagnostic agent benchmarking.
• Abstract（参考訳）: エージェントタスクは、世界と対話し、情報をナビゲートし、制限されたリソースで複数のステップにまたがって証拠を集めるために、大きな言語モデルを必要とする。 この複雑さのため、エージェント的なタスク障害は様々なソースから発生し、エージェントシステムの診断と改善にはこれらの障害の原因を特定することが不可欠である。 しかし、既存のベンチマークでは、単一のリーダボードスコアに注目する傾向があり、基盤となる障害モードは不透明である。 このギャップを埋めるために、AgentHopを紹介します。これは、固定トークン、ターン、ツールコール制約の下でコントロールされた7つのツールサンドボックスと組み合わせた、1,011のマルチチョイス質問の診断ベンチマークです。 AgentHopは、検索、合成、ツールコール、リソース管理という4つのエージェント操作の軸に沿って、単一の精度スコアを分離することで、モデルの脆弱性を明らかにする。 GPTモデルは早期コミット、ArthhropicとGLMチェックポイントはコミット前に検証、DeepSeekとKimはオーバーサーチ、Gemini-3 Proはバランスが保たれています。 クロード・オプス4.6とソネット4.6は1つの精度ポイント内に着陸するが、オプスはより多くのものを回収し、ソネットはより良く合成する。 診断エージェントベンチマークをサポートするための全ベンチマークセットとハーネスをリリースする。

関連論文リスト

• AgentCollabBench: Diagnosing When Good Agents Make Bad Collaborators [0.0]
  AgentCollabBenchは、ソフトウェアエンジニアリング、DevOps、データエンジニアリングにまたがる900の人為的なタスクの診断ベンチマークです。 各タスクは、4つの行動リスクのうちの1つを分離する。 GPT 4.1 mini, Gemini 2.5 Flash Lite, Qwen-3.5-35B-A3B, Llama 3.1 8B の4つの近代LCMの評価を行った。 通信トポロジは、マルチホップ情報サバイバルにおけるばらつきの7-40%を説明する主要なリスクファクターとして現れる。
  論文  参考訳（メタデータ） (2026-05-09T03:35:09Z)
• CUJBench: Benchmarking LLM-Agent on Cross-Modal Failure Diagnosis from Browser to Backend [2.9612444540570113]
  診断フレーミングにおけるブラウザ可視性障害証拠とバックエンド可観測性を組み合わせた最初のベンチマークであるCUJBenchを提案する。 このベンチマークでは、全体的な精度は19.7%、天井は52%、飽和度よりかなり低い。
  論文  参考訳（メタデータ） (2026-04-25T22:10:53Z)
• When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors [66.18091962164219]
  既存のメトリクスは、タスクの成功に必要な義務的な振る舞いと、モデルの自律的な嗜好を反映した命令的でないパターンを区別することができない。 言語アライメントのための textbfResponse Pattern similarity (RPS) と、有向グラフとしてモデル化されたツール使用習慣のための textbfAction Graph similarity (AGS) である。
  論文  参考訳（メタデータ） (2026-04-23T03:48:56Z)
• Synthesizing Multi-Agent Harnesses for Vulnerability Discovery [8.518689779459974]
  LLMエージェントは、人間の監査官や自動ファジッターが何十年も見逃していた、真のセキュリティ脆弱性を見つけ始めている。 実際には、作業は複数のエージェントに分割され、ハーネスによってワイヤリングされる。どの役割が存在するかを修正するプログラム、どのように情報を渡すか、どのツールを呼び出すか、リトライがどのように調整されるかである。 AgentFlowは、エージェントの役割、プロンプト、ツール、通信トポロジ、調整プロトコルを共同でカバーする型付きグラフDSLで、両方の制限に対処する。
  論文  参考訳（メタデータ） (2026-04-22T17:27:40Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• AgenticRAGTracer: A Hop-Aware Benchmark for Diagnosing Multi-Step Retrieval Reasoning in Agentic RAG [7.139631028105273]
  本稿ではエージェントベースのマルチホップ推論のベンチマークである AgenticRAGTracer を紹介する。 主に大きな言語モデルで構築され、ステップバイステップの検証をサポートするように設計されている。 我々のベンチマークは、複数のドメインにまたがり、1,305のデータポイントを含み、既存の主流ベンチマークと重複しない。
  論文  参考訳（メタデータ） (2026-02-22T10:55:21Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• MCP-Orchestrated Multi-Agent System for Automated Disinformation Detection [84.75972919995398]
  本稿では,関係抽出を用いてニュース記事の偽情報を検出するマルチエージェントシステムを提案する。 提案したエージェントAIシステムは、(i)機械学習エージェント(ロジスティック回帰)、(ii)Wikipedia知識チェックエージェント、(iv)Webスクラッドデータアナライザの4つのエージェントを組み合わせる。 その結果、マルチエージェントアンサンブルはF1スコア0.964で95.3%の精度を達成し、個々のエージェントや従来のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-08-13T19:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。