論文の概要: CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations
- arxiv url: http://arxiv.org/abs/2608.12002v1
- Date: Wed, 12 Aug 2026 12:37:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.572382
- Title: CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations
- Title（参考訳）: CTBench: リアルな通信ネットワーク運用におけるAIエージェントのトラブルシューティング能力の評価
- Abstract要約: 我々は、エージェントが有能な通信トラブルシューティングエンジニアのように振る舞うかどうかを評価するベンチマークであるCTBenchを紹介する。
CTBenchは根本原因分析と経路修復に焦点を当てている。
実験によると、最先端のエージェントは経路復元タスクのエンドポイントを特定するのに非常にうまく機能するが、より一般的には根本原因分析では不十分である。
- 参考スコア（独自算出の注目度）: 16.752373220559733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agents are increasingly considered for automating network operations and maintenance, where engineers must diagnose network faults, optimize configurations to enhance services, and reduce operational costs while acting under strict constraints. However, existing evaluations fail to accurately model real network characteristics or assess agents under partially observable telecom environments with diverse vendors, devices, protocols, and interfaces. In this paper, we introduce CTBench, a public benchmark for assessing whether an agent behaves like a competent telecom troubleshooting engineer. CTBench focuses on root cause analysis and path restoration. Each task is constructed by experts and annotated with rich task metadata, including golden evidence steps. CTBench uses expert-grounded metrics that evaluate both final answers and the diagnostic evidence. Experiments with representative harness-model combinations show that state-of-the-art agents perform very well at identifying endpoints in path-restoration tasks but, more generally, underperform in root cause analysis. In particular, agents struggle with interface state, link-layer, service-management, and other operational faults. Most importantly, even when agents produce plausible or correct final answers, they often fail to provide the evidence-grounded diagnoses required in operational practice. Our results further show that path restoration is generally more resource expensive, yet larger resource usage does not necessarily translate into better diagnosis.
- Abstract（参考訳）: エージェントは、ネットワークの動作とメンテナンスを自動化するためにますます検討されており、エンジニアはネットワークの障害を診断し、設定を最適化してサービスを強化し、厳格な制約の下で動作しながら運用コストを削減する必要がある。
しかし、既存の評価では、実際のネットワーク特性を正確にモデル化したり、さまざまなベンダー、デバイス、プロトコル、インターフェースで部分的に監視可能な通信環境下でエージェントを評価することができない。
本稿では,エージェントが有能な通信トラブルシューティングエンジニアのように振る舞うかどうかを評価するための公開ベンチマークであるCTBenchを紹介する。
CTBenchは根本原因分析と経路修復に焦点を当てている。
各タスクは専門家によって構築され、ゴールデンエビデンスステップを含むリッチなタスクメタデータで注釈付けされる。
CTBenchは、最終回答と診断証拠の両方を評価する専門家による測定値を使用する。
代表的ハーネスモデルの組み合わせによる実験では、最先端のエージェントは経路復元タスクのエンドポイントを特定するのに非常によく機能するが、より一般的には根本原因分析では不十分である。
特にエージェントは、インターフェース状態、リンク層、サービス管理、その他の運用上の障害に悩まされます。
最も重要なことは、エージェントがもっともらしい、あるいは正しい最終回答を導いたとしても、彼らはしばしば、手術で必要とされる根拠に基づく診断を提供しなかったことである。
以上の結果から,経路復元は一般的に資源コストが高いが,資源使用量の増加が必ずしもより良い診断に繋がるとは限らないことが示唆された。
関連論文リスト
- A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline [4.751533658796929]
本研究では,ハエのオプトジェネティックスデータ発見パイプラインにおける汎用コーディングエージェントの実証研究について述べる。
既存のベンチマークよりも大幅に大きいタスクのエージェント、桁違いに大きいデータセット、ドメインエキスパート標準に基づく評価基準について評価する。
エージェントが複数のパイプラインステージを解決できることを示し、ステージレベルの自動化が抽出可能であることを示唆する。
論文 参考訳（メタデータ） (2026-06-05T15:38:18Z) - NetAgentBench: A State-Centric Benchmark for Evaluating Agentic Network Configuration [0.669087470775851]
本稿では,FSM(Finite State Machine)形式化によるエージェントインタラクションの評価を行うベンチマークであるNetAgentBenchを紹介する。
これにより、複雑なマルチターン動作を測定するための厳密な基盤を備えたネットワーク環境が提供されます。
論文 参考訳（メタデータ） (2026-04-03T05:11:05Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - AgentTrace: Causal Graph Tracing for Root Cause Analysis in Deployed Multi-Agent Systems [0.0]
本稿では,デプロイされたマルチエージェントAIシステムにおけるポストホック障害診断のための軽量因果トレースフレームワークであるAgentTraceを紹介する。
AgentTraceは、実行ログから因果グラフを再構築し、エラー発生から後方にトレースし、解釈可能な構造信号と位置信号を使って候補根本原因をランク付けする。
この結果から,因果トレースはエージェントシステムの信頼性と信頼性を向上させるための実践的な基盤となることが示唆された。
論文 参考訳（メタデータ） (2026-03-16T00:46:44Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - TraceSIR: A Multi-Agent Framework for Structured Analysis and Reporting of Agentic Execution Traces [32.4073751390339]
本稿では,エージェント実行トレースの構造化解析と報告を行うフレームワークであるTraceSIRを提案する。
TraceSIRはStructureAgent、InsightAgent、ReportAgentの3つの特殊エージェントをコーディネートする。
実験により、TraceSIRは一貫して一貫性があり、情報的で、行動可能なレポートを生成することが示された。
論文 参考訳（メタデータ） (2026-02-28T12:33:24Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - AgentRouter: A Knowledge-Graph-Guided LLM Router for Collaborative Multi-Agent Question Answering [51.07491603393163]
tAgentは知識グラフ誘導ルーティング問題としてマルチエージェントQAを定式化するフレームワークである。
エージェントアウトプットのソフトな監督と重み付けされた集約を活用することで、エージェントは多様なエージェントの相補的な強みを捉える、原則化された協調スキームを学ぶ。
論文 参考訳（メタデータ） (2025-10-06T23:20:49Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。
25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。
私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文 参考訳（メタデータ） (2025-10-01T07:59:03Z) - Exploring LLM-based Agents for Root Cause Analysis [17.053079105858497]
ルート原因分析(RCA)はインシデント管理プロセスの重要な部分である。
大規模言語モデル(LLM)はRCAの実行に使用されているが、追加の診断情報を収集することはできない。
検索ツールを備えたReActエージェントを,マイクロソフトが収集した生産事故のアウト・オブ・ディストリビューション・データセット上で評価する。
論文 参考訳（メタデータ） (2024-03-07T00:44:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。