論文の概要: AgentChaos: Chaos Engineering for Agent Systems via Programmatic Fault Injection

• arxiv url: http://arxiv.org/abs/2608.06790v1
• Date: Fri, 07 Aug 2026 04:24:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.358182
• Title: AgentChaos: Chaos Engineering for Agent Systems via Programmatic Fault Injection
• Title（参考訳）: AgentChaos: プログラム的フォールトインジェクションによるエージェントシステムのカオスエンジニアリング
• Abstract要約: 65の障害構成下でのエージェントシステム、ベンチマーク、バックボーンの評価は、すべてのシステムが障害注入下で劣化していることを示している。 我々は,制御,実行,非侵入的障害注入のためのカオスエンジニアリングフレームワークであるAgentChaosを提案する。
• 参考スコア（独自算出の注目度）: 16.28121266059156
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Agent systems rely on LLM APIs for every response, but these APIs can return server errors, truncated responses, or corrupted content that propagates through downstream agents and causes task failure. Evaluating robustness under these faults is crucial for reliable deployment. Existing fault injection methods are offline, require source code modification, or cannot modify specific response fields. A comprehensive evaluation also requires a systematic fault taxonomy because different fault types affect downstream agents differently. We propose AgentChaos, a chaos engineering framework for controlled, runtime, non-intrusive LLM API fault injection. Since all agent systems access LLMs through the same HTTP interface, we inject faults at this shared layer without modifying source code. We define crash, omission, and value faults on content and tool call fields, intercept and modify LLM API responses at runtime, and verify whether each fault is triggered to filter untriggered tasks and avoid underestimating fault impact. Evaluations across agent systems, benchmarks, and backbone LLMs under 65 fault configurations show that all systems degrade under fault injection, with pass@1 dropping by up to 50 percentage points. The ranking is consistent across models, suggesting that robustness depends on system implementation rather than model capability. Existing fault diagnosis methods achieve below 53% accuracy on fault type and below 56% on fault step, leaving room for improvement. We further reveal practical findings for agent system developers.
• Abstract（参考訳）: エージェントシステムは、すべてのレスポンスに対してLLM APIに依存していますが、これらのAPIは、サーバエラー、切り捨てられたレスポンス、あるいは下流のエージェントを介して伝播し、タスクの失敗を引き起こす腐敗したコンテンツを返すことができます。 これらの欠陥の下で堅牢性を評価することは、信頼性の高いデプロイメントに不可欠である。 既存のフォールトインジェクションメソッドはオフラインで、ソースコードの変更が必要か、特定のレスポンスフィールドを変更することができない。 総合的な評価では、異なる断層タイプが下流エージェントに異なる影響を与えるため、系統的な断層分類も必要である。 我々は,制御,実行,非侵入的LLM API障害注入のためのカオスエンジニアリングフレームワークであるAgentChaosを提案する。 すべてのエージェントシステムが同じHTTPインターフェースを介してLLMにアクセスするので、ソースコードを変更することなく、この共有層に障害を注入します。 我々は、コンテンツおよびツールコールフィールドのクラッシュ、欠落、および値障害を定義し、実行時にLCM API応答をインターセプトし、修正し、各障害が未処理のタスクをフィルタリングし、過度な障害影響を避けるためにトリガーされているかどうかを検証する。 65の障害構成下でのエージェントシステム、ベンチマーク、バックボーンLDMによる評価は、すべてのシステムがフォールトインジェクションで劣化し、pass@1が最大50パーセント低下していることを示している。 ランキングはモデル間で一貫性があり、堅牢性はモデル能力よりもシステム実装に依存していることを示唆している。 既存の断層診断法は, 断層タイプでは53%未満, 断層ステップでは56%以下であり, 改善の余地は残されている。 さらに,エージェントシステム開発者の実践的発見を明らかにした。

関連論文リスト

• DCFA: Dual-view Causal-inspired Attribution for Failure Reasoning in LLM-based Multi-agent Systems [61.11435469308521]
  大規模言語モデルシステムにおける障害帰属のためのトレーニング不要フレームワークDCFAを提案する。 DCFAは、システムトレースから構造化因果インスパイアされた依存性グラフを構築するグローバルモジュールを統合する。 実験の結果、DCFAは最先端のベースラインよりもステップレベルの精度を最大8.27%向上することが示された。
  論文  参考訳（メタデータ） (2026-09-04T05:29:31Z)
• When Agentic Executions Fail: Detecting and Localizing Runtime Faults from Telemetry [12.471487731560643]
  AgentCHAOSBENCHは、実行テレメトリからエージェントシステムのランタイム障害を検出し、ローカライズするためのベンチマークである。 エージェント・ツー・エージェントプロトコル上でエージェントをコーディネートする5つのアプリケーションを実行し、Model Context Protocolを通じてツールを呼び出す。 結果として得られたデータセットには2759.2%のトレースが含まれている。
  論文  参考訳（メタデータ） (2026-08-04T20:47:37Z)
• FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
  LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。 我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
  論文  参考訳（メタデータ） (2026-05-30T15:11:35Z)
• VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
  大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。 しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。 本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-17T14:09:35Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• AgentAsk: Multi-Agent Systems Need to Ask [26.13279490836716]
  大規模言語モデル(LLM)上に構築されたマルチエージェントシステムは、協調的な分業による問題解決能力の向上を約束する。 我々はAgentAskを提案する。AgentAskは軽量でプラグ・アンド・プレイの明確化モジュールで、すべてのエージェント間メッセージを潜在的な障害点として扱い、エラーの伝播を抑えるのに必要最小限の質問を挿入する。 AgentAskは、公開マルチエージェント実装の精度と堅牢性を継続的に改善し、オーバーヘッドを最小限に抑え、レイテンシと余分なコストを5%以下に抑える。
  論文  参考訳（メタデータ） (2025-10-08T22:36:05Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。