論文の概要: MCPHallu: Benchmarking Reasoning, Execution, and Memory Hallucinations in MCP Agents
- arxiv url: http://arxiv.org/abs/2611.07689v1
- Date: Thu, 05 Nov 2026 09:14:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.615301
- Title: MCPHallu: Benchmarking Reasoning, Execution, and Memory Hallucinations in MCP Agents
- Title（参考訳）: MCPHallu:MCPエージェントのベンチマーク・推論・実行・メモリ幻覚
- Abstract要約: MCPHallu(MCPHallu)は,MCP環境における幻覚剤の異常を診断するためのベンチマークである。
MCPHalluには5つの機能ドメインにわたる358のタスクが含まれており、36のプロダクションMPPサーバ上で動作する。
現在のMCPエージェントは幻覚誘導ツール環境に弱いままである。
- 参考スコア（独自算出の注目度）: 10.355641118186915
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language model agents are increasingly deployed through the Model Context Protocol (MCP), which allows them to discover and invoke tools across multiple servers at runtime. Existing MCP benchmarks primarily measure task completion; where they diagnose failures, they do so after execution rather than building specific reasoning, execution, and memory failure risks into task construction. We introduce MCPHallu, a benchmark for diagnosing hallucination-prone agent failures in MCP environments along three axes: reasoning, execution, and memory. MCPHallu contains 358 tasks across five capability domains and runs on 36 production MCP servers in isolated containers. Each task is designed with a structural trigger that makes one of four subtypes the dominant failure risk: Branch Collapse, Unreachable Goal, Tool Misuse, or Context Forgetting. This design enables subtype-level analysis rather than aggregate task success alone. We evaluate fourteen frontier LLM agents from eight vendors on 5{,}012 trajectories. Current MCP agents remain vulnerable to hallucination-inducing tool environments, achieving an average score of 0.642 on a $[0,1]$ scale (higher is better). Failures concentrate on Unreachable Goal tasks, where the average score drops to 0.458 and 23.2\% of runs pass, indicating that agents often continue issuing tool calls or claim successful completion rather than recognizing infeasible goals. Subtype rankings diverge sharply: a model's rank shifts by 6.9 of 13 positions on average across subtypes, and Branch Collapse is uncorrelated with Unreachable Goal across models ($r = -0.12$). MCPHallu is released at https://github.com/J1zz/mcp_hallu.
- Abstract（参考訳）: 大規模言語モデルエージェントはモデルコンテキストプロトコル(MCP)を通じてますますデプロイされ、実行時に複数のサーバにまたがるツールを発見して呼び出すことができる。
既存のMPPベンチマークは主にタスク完了を計測するが、そこでは特定の推論、実行、メモリ障害のリスクをタスク構築に組み込むのではなく、実行後に行う。
MCPHalluは,MCP環境における幻覚剤の異常を推論,実行,記憶の3つの軸に沿って診断するためのベンチマークである。
MCPHalluには5つの機能ドメインにわたる358のタスクが含まれており、36のプロダクションMPPサーバ上で動作する。
各タスクは4つのサブタイプのうちの1つが障害リスクを支配的にする構造的なトリガで設計されている。
この設計により、タスクの成功のみを集約するのではなく、サブタイプレベルの分析が可能になる。
5{,}012 軌道上の8つのベンダーから14個のフロンティア LLM エージェントを評価した。
現在のMCPエージェントは幻覚誘導ツール環境に弱いままであり、平均スコアは[0,1]$スケールで0.642に達する(高い方がよい)。
失敗は到達不可能なゴールタスクに集中しており、平均スコアは0.458と23.2\%に低下し、エージェントが実行不可能なゴールを認識するのではなく、しばしばツールコールの発行や完了の主張を継続することを示している。
モデルのランクは、各サブタイプの平均で13のポジションの6.9にシフトし、ブランチ崩壊はモデル間での到達不能ゴール(r = -0.12$)とは無関係である。
MCPHalluはhttps://github.com/J1zz/mcp_hallu.comでリリースされた。
関連論文リスト
- Log-To-Leak: Prompt Injection Attacks on Tool-Using LLM Agents via the Model Context Protocol [7.073753197587707]
LLM エージェントは Model Context Protocol (MCP) を通じて外部ツールにアクセスしやすくなっている。
Log-To-Leak(ログ・トゥ・リーク)は、最後の正当な呼び出しの後、個別のアタッカーが制御する呼び出しを誘導するポストホックロギング攻撃である。
5つのMPPサーバと4つのLCMエージェントを,有効性,有用性,効率性にまたがる5つの指標を用いて評価した。
論文 参考訳（メタデータ） (2026-10-26T18:20:24Z) - Tool-Calling LLM Agents Under Realistic MCP Faults: Scale Does Not Purchase Fault Tolerance [1.8049927925347717]
LLMエージェントは、モデルコンテキストプロトコルを介して公開された外部ツールに依存している。
現在のベンチマークでは、ツールは正しく、時間通りに応答し、エージェントのレジリエンスを現実的なツールの失敗に残していると仮定している。
我々は,MPPツールコールパスに介在するプロトコル対応のフォールトインジェクションキャリブレーションであるMPP-インジェクタを導入する。
論文 参考訳（メタデータ） (2026-10-23T12:35:51Z) - FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration [3.4732047142551288]
FDE-BenchはDockerイメージ、マルチサービスComposeスタック、診断・修復モードにまたがるデプロイメント設定タスクを評価している。
エージェントは、プリスタント環境で収集、再構築、再デプロイされる宣言的アーティファクトを提出する。
準備は最大の障害ステージであり、313エピソードのうち110エピソードが未解決である。
論文 参考訳（メタデータ） (2026-09-23T08:51:01Z) - Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers [0.0]
固定データセットではなく再利用可能なフレームワークであるDynamicMCPBenchを紹介する。
現実的な目標を生成し、それぞれの目標を追求し、成功軌道を記録し、その軌跡をパスに依存しない効果チェックポイントに蒸留し、最終的な答えにはない、それらの効果を再現するかどうかをエージェントにスコアする。
最強のエージェントでさえタスクの約半分しか解決せず、タスクの31%はモデル無しで解決され、必要なツールチェーンが長くなるにつれて精度が低下する。
論文 参考訳（メタデータ） (2026-07-10T12:25:57Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳（メタデータ） (2026-06-30T06:06:08Z) - MCP Pitfall Lab: Exposing Developer Pitfalls in MCP Tool Server Security under Multi-Vector Attacks [0.7305019142196584]
MCP Pitfall Labは,開発者の落とし穴を再現可能なシナリオとして運用するプロトコル対応のセキュリティテストフレームワークである。
Pitfall Labは,現実的なマルチベクタ条件下でのMPPツールサーバの実用的,エンドツーエンド評価と強化を可能にする。
論文 参考訳（メタデータ） (2026-04-23T09:39:15Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳（メタデータ） (2025-04-30T23:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。