論文の概要: Tool-Calling LLM Agents Under Realistic MCP Faults: Scale Does Not Purchase Fault Tolerance
- arxiv url: http://arxiv.org/abs/2610.32555v1
- Date: Fri, 23 Oct 2026 12:35:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.515191
- Title: Tool-Calling LLM Agents Under Realistic MCP Faults: Scale Does Not Purchase Fault Tolerance
- Title（参考訳）: 実効的MPP故障下でのLLMエージェントのツールケーリング:スケールはフォールトトレランスを損なわない
- Abstract要約: LLMエージェントは、モデルコンテキストプロトコルを介して公開された外部ツールに依存している。
現在のベンチマークでは、ツールは正しく、時間通りに応答し、エージェントのレジリエンスを現実的なツールの失敗に残していると仮定している。
我々は,MPPツールコールパスに介在するプロトコル対応のフォールトインジェクションキャリブレーションであるMPP-インジェクタを導入する。
- 参考スコア（独自算出の注目度）: 1.8049927925347717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents increasingly rely on external tools exposed via the Model Context Protocol (MCP), yet current benchmarks assume tools respond correctly and on time, leaving agent resilience to realistic tool failures untested. We introduce MCP-Injector, a drop-in, protocol-aware fault-injection middleware that interposes on the MCP tool-call path with controlled persistence (permanent, transient, intermittent) and seedable schedules. Its fault model is calibrated to the observed incident distribution (failure mode x persistence) of the public MCP ecosystem, mined from 57,240 issue and pull-request threads across 1,774 open-source MCP repositories. In a 1,350-cell experiment crossing two backbone sizes (20B, 120B), three agent stacks (custom multi-round plan-and-execute, OpenAI Agents SDK, LangChain), and three fault injection conditions, we find that faults drawn from this permanent-heavy stress profile cause severe quality degradation (task-completion score falls by 60%, from 8.08 to 3.23 out of 10), and that scale does not purchase fault tolerance for the two gpt-oss backbones we test: the 120B retains no larger share of its fault-free score under faults (resilience-ratio model, $p = 0.96$), and its completion rate under faults is, if anything, lower (91.1% vs. 95.6%; difference 4.4 points, 95% CI $[-0.2, 9.3]$). Agent stacks differ in how well they absorb faults, which suggests that framework-level error handling matters more than model scale. These results demonstrate that capability benchmarks alone can mask operational brittleness, motivating protocol-aware fault injection as a complementary evaluation dimension for tool-calling agents.
- Abstract（参考訳）: LLMエージェントは、モデルコンテキストプロトコル(MCP)を通じて公開される外部ツールにますます依存している。
我々は、MPPツールコールパスに永続性(永続性、過渡性、断続性)とシード可能なスケジュールを介し、MPPツールコールパスに介在する、ドロップイン、プロトコル対応のフォールトインジェクションミドルウェアであるMPPインジェクタを紹介する。
そのフォールトモデルは、57,240イシューと1,774のオープンソースMPPリポジトリにわたるプルリクエストスレッドから抽出された、パブリックMPPエコシステムの観測されたインシデント分布(障害モード x 永続化)に校正されている。
2つのバックボーンサイズ(20B,120B),3つのエージェントスタック(マルチラウンドプラン/実行),OpenAI Agents SDK,LangChain)および3つの障害注入条件において,この永続的なストレスプロファイルから引き出された障害が重大な品質劣化(タスク補完スコアは10点中8.08点から3.23点まで低下)を引き起こし,そのスケールでは,2つのgpt-ossバックボーンに対するフォールトトレランスを購入できないことが判明した。
エージェントスタックは、いかに障害を吸収するかで異なり、フレームワークレベルのエラー処理がモデルスケールよりも重要であることを示唆している。
これらの結果から,ツールコールエージェントの相補的評価次元としてプロトコル対応障害注入を動機付けることにより,機能ベンチマークだけで運用上の脆さを隠蔽できることが示唆された。
関連論文リスト
- Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。
複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
論文 参考訳（メタデータ） (2026-09-01T09:08:15Z) - DPIAgent: Divide, Protocol, Isolate for Agentic Reproduction Test Generation [31.816679197888366]
DPIAgentは3つの原則に基づいて構築された構造化エージェントフレームワークである。
タスクを、欠陥探索とテスト生成の単一目的のフェーズに分割する。
診断とテスト計画を記録するハンドオフプロトコルを施行し、コンテキスト損失を防ぐ。
論文 参考訳（メタデータ） (2026-08-24T14:51:15Z) - Real-Time Detection and Repair of LLM Agent Failures [0.0]
LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。
1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。
システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
論文 参考訳（メタデータ） (2026-08-03T16:34:46Z) - Determinants and Limits of LLM Security-Tool Orchestration: A Study with HexStrike-AI [2.2616066835313253]
7つのカテゴリと3つの難易度で86のPicoCTF課題を実行し、3つのツールアクセスレジームと3つのモデル/クライアント構成で実行します。
既存のツール,エージェント・ビヘイビアの変更,11の新たな機能ツールに修正を適用し,これまで未経験だったトライアルを再実行します。
全体の解決率は55.4%から72.0%に上昇し、全ての構成が大幅に改善される。
論文 参考訳（メタデータ） (2026-07-03T02:20:04Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - MCP Pitfall Lab: Exposing Developer Pitfalls in MCP Tool Server Security under Multi-Vector Attacks [0.7305019142196584]
MCP Pitfall Labは,開発者の落とし穴を再現可能なシナリオとして運用するプロトコル対応のセキュリティテストフレームワークである。
Pitfall Labは,現実的なマルチベクタ条件下でのMPPツールサーバの実用的,エンドツーエンド評価と強化を可能にする。
論文 参考訳（メタデータ） (2026-04-23T09:39:15Z) - Guardrails as Infrastructure: Policy-First Control for Tool-Orchestrated Workflows [0.0]
Policy-First Toolingは、明示的な制約、リスク認識ゲーティング、リカバリコントロール、監査可能な説明を通じて、ツールの実行を仲介する。
制御された5つのポリシーパックと3つの障害プロファイルをまたいだ225の運用では、厳格なパックにより、違反防止はP0の0.000からP4の0.681に改善され、タスク成功は0.356から0.067に減少した。
論文 参考訳（メタデータ） (2026-03-18T01:19:33Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳（メタデータ） (2026-02-10T21:08:53Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳（メタデータ） (2025-04-30T23:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。