論文の概要: NetConfArena: An Executable Benchmark for LLM Agents in Closed-Loop Network Configuration
- arxiv url: http://arxiv.org/abs/2608.23179v1
- Date: Mon, 24 Aug 2026 12:26:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.054148
- Title: NetConfArena: An Executable Benchmark for LLM Agents in Closed-Loop Network Configuration
- Title（参考訳）: NetConfArena: クローズドループネットワーク構成におけるLLMエージェントの実行可能なベンチマーク
- Abstract要約: 本稿では,大規模言語モデル (LLM) エージェントをクローズドループネットワーク構成で評価するためのベンチマークであるNetConfArenaを提案する。
このベンチマークは、人間指向のネットワーク材料を再利用可能なパラメータ化タスクテンプレートに変換するLLM支援エミュレーション地上パイプラインに依存している。
96のプロトコル中心のタスクテンプレートからインスタンス化された480のタスクインスタンス上で,代表的なLCMエージェントを評価し,エラーがコマンドエラーに制限されないことを示す。
- 参考スコア（独自算出の注目度）: 14.126948395559987
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents are increasingly attractive for automating network configuration, yet their reliability and failure patterns are poorly understood. An essential prerequisite is to assess such agents in a realistic but risk-free environment. Existing benchmarks, however, fall short: they often treat configuration as static command generation or rely on overly simplified settings. Such evaluations understate the core challenges of network configuration, where correctness requires reasoning about protocol complexity and topology dependence. We present NetConfArena, an executable benchmark for evaluating LLM agents in closed-loop network configuration. NetConfArena places agents in emulated multi-device networks, provides a standardized and compact action interface for task execution, and evaluates the resulting network behavior with hidden task-specific executable test cases. The benchmark relies on an LLM-assisted, emulation-grounded pipeline, which converts human-oriented network materials into reusable parameterized task templates. We evaluate representative LLM agents on 480 task instances instantiated from 96 protocol-focused task templates, yielding 3840 execution trajectories, and show that failures are not limited to command errors. The failures also reveal gaps in task-specification adherence and robust planning and execution. These findings suggest two future directions: using validated trajectories as supervision signals to improve foundation models, and designing harness mechanisms that make agent execution more reliable and accountable.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ネットワーク構成の自動化にますます魅力的なものになっているが、信頼性や障害パターンはよく理解されていない。
必須の前提条件は、現実的でリスクのない環境でそのようなエージェントを評価することである。
構成を静的なコマンド生成として扱うことや、過度に単純化された設定に依存することが少なくない。
このような評価は、プロトコルの複雑さとトポロジ依存に関する推論を必要とするネットワーク構成の中核的な課題を浮き彫りにする。
本稿では,LLMエージェントをクローズドループネットワーク構成で評価するためのベンチマークであるNetConfArenaを提案する。
NetConfArenaはエージェントをエミュレートされたマルチデバイスネットワークに配置し、タスク実行のための標準化されたコンパクトなアクションインターフェースを提供し、タスク固有の実行可能なテストケースでネットワークの振る舞いを評価する。
このベンチマークは、人間指向のネットワーク材料を再利用可能なパラメータ化タスクテンプレートに変換するLLM支援エミュレーション地上パイプラインに依存している。
96のプロトコル中心のタスクテンプレートからインスタンス化された480のタスクインスタンス上で,代表的なLCMエージェントを評価し,3840の実行軌跡を出力し,エラーがコマンドエラーに制限されないことを示す。
失敗はまた、タスク仕様の遵守と堅牢な計画と実行のギャップを明らかにします。
これらの知見は, 基礎モデルを改善するため, 検証軌道を監視信号として用いること, エージェントの実行をより信頼性と説明責任を高めるためのハーネス機構を設計すること, の2つの今後の方向性を示唆している。
関連論文リスト
- Beyond LLM-Based Reasoning: Lightweight GNNs for Agent Failure Attribution [47.70578021328887]
大規模言語モデル(LLM)ベースのマルチエージェントシステムは、しばしば複雑な障害モードを示す。
AFANetは、ステップレベルの意味信号とエージェントレベルの関係を通して相互作用軌跡をモデル化する軽量なグラフベースのフレームワークである。
以上の結果から, エージェント障害の効果的な帰属は大きな推論を必要とせず, 軽量で構造化されたアプローチで高い性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2026-08-19T06:16:09Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing [79.19755531338872]
既存のルーティングメソッドは、クエリに対するモデルの単一応答を、トレーニングの能力ラベルとして扱う。
この仮定はルーティング管理にシステマティックノイズを導入し、学習されたルーティングポリシーの信頼性を低下させることを示す。
本稿では, DARS(Distribution-Aware Routing Supervision)を提案する。
論文 参考訳（メタデータ） (2026-06-05T05:42:00Z) - CausalFlow: Causal Attribution and Counterfactual Repair for LLM Agent Failures [4.061481215870679]
フェールエージェントトレースを最小限の偽物修復と再利用可能な監視に変換する介入フレームワークであるCausalFlowを紹介した。
CaulFlowは、最小限の振る舞いドリフトで障害から回復するターゲットテスト時修復と、オフラインの優先度最適化や報酬モデリングに適したトレーニング時間監視の2つの補完的な使用をサポートする。
論文 参考訳（メタデータ） (2026-05-25T01:47:01Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - FAMA: Failure-Aware Meta-Agentic Framework for Open-Source LLMs in Interactive Tool Use Environments [60.3427704389541]
大規模言語モデルは、自律エージェントの意思決定コアとして、ますます多くデプロイされている。
しかし、会話のベンチマークでは、誤った意思決定のカスケード効果のために、これらのエージェントは頻繁に失敗する。
これらの課題に対処するために、Failure-Aware Meta-Agenticフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-28T02:21:53Z) - NetAgentBench: A State-Centric Benchmark for Evaluating Agentic Network Configuration [0.669087470775851]
本稿では,FSM(Finite State Machine)形式化によるエージェントインタラクションの評価を行うベンチマークであるNetAgentBenchを紹介する。
これにより、複雑なマルチターン動作を測定するための厳密な基盤を備えたネットワーク環境が提供されます。
論文 参考訳（メタデータ） (2026-04-03T05:11:05Z) - Execution-State-Aware LLM Reasoning for Automated Proof-of-Vulnerability Generation [36.950993500170014]
本稿では,PoV生成を反復的仮説検証法として再構成するエージェントフレームワークであるDrillAgentを提案する。
我々は、実世界のC/C++脆弱性の大規模なベンチマークであるSEC-bench上でDrillAgentを評価する。
論文 参考訳（メタデータ） (2026-02-14T03:17:27Z) - ComAgent: Multi-LLM based Agentic AI Empowered Intelligent Wireless Networks [62.031889234230725]
6Gネットワークは複雑な層間最適化に依存している。
数学の定式化に高レベルの意図を手動で翻訳することは、まだボトルネックである。
我々はマルチLLMエージェントAIフレームワークであるComAgentを紹介する。
論文 参考訳（メタデータ） (2026-01-27T13:43:59Z) - FHE-Agent: Automating CKKS Configuration for Practical Encrypted Inference via an LLM-Guided Agentic Framework [23.668677510478446]
本稿では、専門家推論プロセスを自動化するエージェントフレームワークであるFHE-Agentを紹介する。
探索をグローバルパラメータ選択と階層的ボトルネック修復に分解する。
検索戦略よりも精度が良く、レイテンシも低い。
論文 参考訳（メタデータ） (2025-11-23T23:26:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。