論文の概要: FaulT-Bench: Towards Benchmarking Network Troubleshooting LLM Agents under Unreliable User Tickets
- arxiv url: http://arxiv.org/abs/2608.27021v1
- Date: Thu, 27 Aug 2026 12:07:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.381242
- Title: FaulT-Bench: Towards Benchmarking Network Troubleshooting LLM Agents under Unreliable User Tickets
- Title（参考訳）: FaulT-Bench: 信頼性の低いユーザチケット下でのLDMエージェントのベンチマークネットワークのトラブルシューティング
- Abstract要約: FaulT-Benchは、8つのネットワークトポロジにわたる200のトラブルシューティングシナリオのベンチマークである。
72件の偽装チケットを5人の記者に書き直した。
我々の自動ハーネスは、Katharに各シナリオをデプロイし、NIKAツールインターフェースを介してエージェントが対話できるようにし、結果、修正、推論品質の様々な LLM 判事とフリーテキスト診断をスコア付けします。
- 参考スコア（独自算出の注目度）: 0.8250892979520543
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based agents are increasingly proposed for network fault diagnosis, but existing benchmarks evaluate them only on accurate tickets and always assume a fault is present, conditions rarely met in practice. We present FaulT-Bench, a benchmark of 200 troubleshooting scenarios across eight network topologies, five reimplemented from public practitioner labs, spanning genuine faults, false fault reports, incorrect device attribution, and incorrect root-cause claims. To isolate how ticket wording affects diagnosis, we further rewrite 72 false-premise tickets into five reporter personas that vary reporter confidence and verifiable detail one factor at a time, holding the network state fixed. Our automated harness deploys each scenario in Kathará, lets agents interact through the NIKA tool interface, and scores free-text diagnoses with an LLM judge across outcome, fix, and reasoning quality. Evaluating SADE, ReAct, and Claude Code, we find all three are near-saturated on accurate tickets and robust to misdirection, yet degrade sharply when the network is healthy and the ticket is wrong, probing until a benign condition can be promoted to a root cause rather than concluding nothing is wrong. Persona rewrites show that how a ticket is written matters more than what it claims: a confidently wrong report is handled about as well as an accurate one, while a vague, underspecified report degrades performance sharply. The three agents also fail differently, from constant over-diagnosis to unanswered runs, at very different cost. These results position FaulT-Bench as a benchmark for developing agentic systems that can reason reliably over the noisy, unreliable tickets of real-world network troubleshooting.
- Abstract（参考訳）: LLMベースのエージェントはネットワーク障害診断のためにますます提案されているが、既存のベンチマークでは正確なチケットでのみ評価されており、常に障害が存在すると仮定している。
8つのネットワークトポロジにまたがる200のトラブルシューティングシナリオのベンチマークであるFaulT-Benchを紹介します。
チケットの発券が診断にどう影響するかを識別するために,72件の偽装チケットを,記者の信頼度や詳細を一度に1つずつ確認し,ネットワーク状態を固定した5人のレポーターに書き換える。
我々の自動ハーネスは、Katharáに各シナリオをデプロイし、NIKAツールインターフェースを介してエージェントが対話できるようにし、結果、修正、推論品質のさまざまな LLM 判事とフリーテキスト診断をスコア付けします。
SADE、ReAct、Claude Codeの評価では、これら3つはいずれも正確なチケットでほぼ飽和しており、誤った方向で頑健だが、ネットワークが正常でチケットが間違っていれば急激に劣化する。
ペルソナの書き直しは、チケットの書き方が、その主張以上に重要であることを示している: 確実な誤ったレポートは、正確であると同時に、曖昧で不明瞭なレポートは、パフォーマンスを著しく低下させる。
3つのエージェントは、定常的な過剰診断から未解決の実行まで、非常に異なるコストで、異なるフェールを発生させる。
これらの結果から、FaulT-Benchは、現実のネットワークトラブルシューティングのノイズで信頼性の低いチケットを確実に処理できるエージェントシステム開発のためのベンチマークとして位置づけられた。
関連論文リスト
- DCFA: Dual-view Causal-inspired Attribution for Failure Reasoning in LLM-based Multi-agent Systems [61.11435469308521]
大規模言語モデルシステムにおける障害帰属のためのトレーニング不要フレームワークDCFAを提案する。
DCFAは、システムトレースから構造化因果インスパイアされた依存性グラフを構築するグローバルモジュールを統合する。
実験の結果、DCFAは最先端のベースラインよりもステップレベルの精度を最大8.27%向上することが示された。
論文 参考訳（メタデータ） (2026-09-04T05:29:31Z) - Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research [75.8770212601511]
ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。
循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。
そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
論文 参考訳（メタデータ） (2026-08-25T09:34:18Z) - Understanding Online Failure Prediction in Linux Through Complementary Multi-View Explainability [0.0]
本報告では,Linux OS用オンラインエラー予測パイプラインの構築と評価について述べる。
コンセンサスに基づく特徴選択と、時間的オンセット分析、サブシステムレベルの因果解析、障害解釈を支援する補完的な診断メカニズムを組み合わせる。
論文 参考訳（メタデータ） (2026-08-01T13:12:59Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。
2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。
我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
論文 参考訳（メタデータ） (2026-06-01T10:50:26Z) - Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability [8.036549927091286]
本稿では,マルチエージェントLSMトレースにおける無駄な計算を診断するための,故障を考慮した可観測性フレームワークを提案する。
このフレームワークを3エージェントの質問応答システムでインスタンス化し、165のGAIA検証トレース上で同一の実行上限で評価する。
論文 参考訳（メタデータ） (2026-05-31T17:50:11Z) - Agent Meltdowns: The Road to Hell Is Paved with Helpful Agents [7.806845513717345]
我々は、強調融解と呼ばれる新しいタイプのエージェント障害を導入し、特徴付けし、測定する。
融解は既存の信頼性ベンチマークや安全性ベンチマークでは捉えられないため、融解挙動の分類法を開発する。
次に、シミュレーションされたローカルおよびリモートエラーをロールアウト環境に注入するためのエージェント非依存のインフラを実装した。
論文 参考訳（メタデータ） (2026-05-18T22:03:38Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z) - Is Your Automated Software Engineer Trustworthy? [0.850206009406913]
大規模言語モデル(LLM)は、ソフトウェア工学のタスクでますます使われています。
LLMはすべての問題に応答し、入力があいまいであったり、出力が間違っていたとしても、すべてのケースに対してパッチを生成する。
これは、幻覚的なコード変更や、あいまいな問題レポートに基づいたレスポンスといった、信頼性の低い振る舞いにつながります。
我々は、LLMベースのソフトウェアエージェントが入力が未定義の場合に動作しないかどうかを評価するベンチマークであるBouncerBenchを紹介する。
論文 参考訳（メタデータ） (2025-06-21T20:56:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。