論文の概要: When Agentic Executions Fail: Detecting and Localizing Runtime Faults from Telemetry
- arxiv url: http://arxiv.org/abs/2608.14680v1
- Date: Tue, 04 Aug 2026 20:47:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.960164
- Title: When Agentic Executions Fail: Detecting and Localizing Runtime Faults from Telemetry
- Title（参考訳）: エージェント実行が失敗した場合:テレメトリによる実行時障害の検出と位置決定
- Abstract要約: AgentCHAOSBENCHは、実行テレメトリからエージェントシステムのランタイム障害を検出し、ローカライズするためのベンチマークである。
エージェント・ツー・エージェントプロトコル上でエージェントをコーディネートする5つのアプリケーションを実行し、Model Context Protocolを通じてツールを呼び出す。
結果として得られたデータセットには2759.2%のトレースが含まれている。
- 参考スコア（独自算出の注目度）: 12.471487731560643
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliability in LLM-based agentic systems is a property of the whole execution (its tool calls, model calls, guardrails, and inter-agent messages), not of the final answer alone, yet evaluating only task outcomes reveals little about how or why a run fails. We present AGENTCHAOSBENCH, a benchmark for detecting and localizing runtime faults in agentic systems from their execution telemetry. We run five heterogeneous applications that coordinate agents over the Agent-to-Agent protocol and call tools through the Model Context Protocol, and inject ten types of operational fault (unavailable or slow tools, corrupted or oversized responses, and delayed, looped, or misrouted delegations and bypassed guardrails) at their tool, model, guardrail, and inter-agent boundaries, alongside a no-fault control. The resulting dataset contains 275 sanitized traces: 250 faulty executions spanning ten fault types and 25 no-fault controls. Each faulty trace is aligned with the no-fault execution of the same input; fault-type labels and, where applicable, location labels are held out from diagnosis. On structured single-trace inputs, a first set of zero-shot LLM baselines shows the task is far from solved: local detectors up to 14B parameters reach only 13.6-19.2% top-1 fault-type accuracy and the frontier DeepSeek-v4-pro only 24.8%, while jointly identifying the fault type and its location tops out at 22%; reference-dependent faults (above all a bypassed guardrail) stay near-unsolved from a single trace. An aligned reference improves selected relative faults but does not resolve guardrail bypass. The held-out labels and compact prediction format support reproducible comparison of LLM-based and non-LLM diagnosis methods.
- Abstract（参考訳）: LLMベースのエージェントシステムの信頼性は、実行全体(ツールコール、モデルコール、ガードレール、エージェント間メッセージ)の特性であり、最終回答だけではありません。
本稿では,エージェントシステムの実行テレメトリから実行時障害を検出し,局所化するベンチマークであるAgentCHAOSBENCHを提案する。
Agent-to-Agentプロトコル上でエージェントをコーディネートし、Model Context Protocolを通じてツールを呼び出す5つの異種アプリケーションを実行し、ツール、モデル、ガードレール、およびエージェント間境界の10種類の運用障害(非デフォルト制御とともに、非可用性、遅さ、過大な応答、遅延、ループ、または不正なデリゲート、バイパスされたガードレール)を注入します。
結果として得られたデータセットには,10の障害タイプにまたがる250の障害実行と25のノーフォールトコントロールという,275のサニタイズされたトレースが含まれている。
各障害トレースは、同一入力のデフォルト実行、障害型ラベル、および適用可能な位置ラベルを診断から除外する。
局所検出器の最大14Bパラメータは13.6-19.2%、フロンティアのDeepSeek-v4-proは24.8%、断層のタイプと位置は22%である。
整列基準は選択された相対的欠陥を改善するが、ガードレールバイパスを解決しない。
ホールドアウトラベルとコンパクトな予測形式は, LLM法と非LLM法との再現性の比較をサポートする。
関連論文リスト
- Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。
複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
論文 参考訳（メタデータ） (2026-09-01T09:08:15Z) - AgentChaos: Chaos Engineering for Agent Systems via Programmatic Fault Injection [16.28121266059156]
65の障害構成下でのエージェントシステム、ベンチマーク、バックボーンの評価は、すべてのシステムが障害注入下で劣化していることを示している。
我々は,制御,実行,非侵入的障害注入のためのカオスエンジニアリングフレームワークであるAgentChaosを提案する。
論文 参考訳（メタデータ） (2026-08-07T04:24:29Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - AutoTrace: From Patches to Triggers via Agentic Interprocedural Exploration [6.39392731596656]
脆弱性修正コミットが与えられた場合、トリガーローカライゼーションは、脆弱性のあるプログラム状態を具体的な安全でない操作に変換する特定のステートメントを問う。
脆弱性トリガをローカライズするエージェントパイプラインであるAutoTraceについて,コードプロパティグラフ層を層単位で探索することによって紹介する。
エージェントは自身の権限でトリガーを決して受け入れない。報告されたトリガーはすべて、グラフから引き出された明確な証拠によって裏付けられている。
論文 参考訳（メタデータ） (2026-07-13T18:21:42Z) - What Resolve Rate Hides: Trajectory Structure Diagnostics for Coding Agents [14.988334585821939]
コーディングエージェントは、ほぼ完全に解決率でランク付けされる。
単一のパス/フェイルラベルは、なぜ実行が失敗したのか、なぜ承認された実行が追加のステップ、時間、トークンを費やしたのかについて何も述べていない。
TraceProbeは、リゾルフレートが隠すものを回復するトラジェクトリに依存しないフレームワークである。
論文 参考訳（メタデータ） (2026-07-07T12:09:46Z) - Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability [8.036549927091286]
本稿では,マルチエージェントLSMトレースにおける無駄な計算を診断するための,故障を考慮した可観測性フレームワークを提案する。
このフレームワークを3エージェントの質問応答システムでインスタンス化し、165のGAIA検証トレース上で同一の実行上限で評価する。
論文 参考訳（メタデータ） (2026-05-31T17:50:11Z) - VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。
しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。
本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-17T14:09:35Z) - Arbiter: Detecting Interference in LLM Agent System Prompts [0.0]
Arbiterは、システムプロンプト内の干渉パターンを検出するために、形式的評価ルールとマルチモデルLCMスカーリングを組み合わせたフレームワークである。
Claude Code (Anthropic), Codex CLI (OpenAI), Gemini CLI (Google)の3つの主要なコーディングエージェントシステムに適用される。
論文 参考訳（メタデータ） (2026-03-09T22:29:47Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳（メタデータ） (2025-04-30T23:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。