論文の概要: InfraBench: Evaluating Infrastructure Agents Across Layers, Lifecycle, and Risk
- arxiv url: http://arxiv.org/abs/2608.11234v1
- Date: Fri, 31 Jul 2026 03:53:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 01:32:04.588957
- Title: InfraBench: Evaluating Infrastructure Agents Across Layers, Lifecycle, and Risk
- Title（参考訳）: InfraBench: レイヤ、ライフサイクル、リスクを越えてインフラストラクチャエージェントを評価する
- Abstract要約: 現実的なインフラストラクチャタスク上でAIエージェントを評価するためのベンチマークスイートであるInfraBenchを紹介する。
15のエージェントモデル構成による実験では、最強のエージェントでさえすべてのタスクで完全なスコアを確保できないことが示されている。
- 参考スコア（独自算出の注目度）: 9.143854699182123
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Managing modern computing infrastructure has become a steadily harder problem due to the ever-increasing complexity. Recent advances in AI agents create a timely opportunity to automate infrastructure management tasks, but it remains unclear how well such agents can handle real-world infrastructure complexity. We present InfraBench, a benchmark suite for evaluating AI agents on realistic infrastructure tasks across the full system stack and full operational lifecycle with fine-grained risk assessment. Experiments with 15 agent-model configurations show that even the strongest agent cannot secure a full score across all tasks. Mean effective scores range from roughly 40% to 88% (with per-configuration standard errors of 6-12 points), repeating every task three times reveals that top configurations still pass only a fraction of their attempts, and per-check scoring exposes a general failure pattern: agents may routinely satisfy short-term objectives while leaving non-durable changes, broken distributed invariants, unsafe side effects, and uncleaned state behind. INFRABENCH, including its live leaderboard, tasks, and evaluation harness, is publicly available at infraben.ch.
- Abstract（参考訳）: 現代のコンピューティングインフラの管理は、ますます複雑化するため、着実に難しい問題になっている。
AIエージェントの最近の進歩は、インフラストラクチャ管理タスクを自動化するためのタイムリーな機会を生み出している。
InfraBenchは、AIエージェントをシステムスタック全体にわたる現実的なインフラストラクチャタスクと、詳細なリスク評価を備えた完全な運用ライフサイクルで評価するためのベンチマークスイートです。
15のエージェントモデル構成による実験では、最強のエージェントでさえすべてのタスクで完全なスコアを確保できないことが示されている。
平均的な有効スコアはおよそ40%から88%(設定毎の標準エラーは6-12ポイント)で、各タスクを3回繰り返すと、トップ設定がまだ試行のごく一部しかパスしていないことが判明し、チェック毎のスコアが一般的な失敗パターンが露呈する。
ライブのリーダーボード、タスク、評価ハーネスを含むINFRABENCHは、Infraben.chで公開されている。
関連論文リスト
- OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution [71.06848799741152]
AIエージェントは、初期状態の変化が将来的な決定に影響を与える可能性のある永続的な環境で動作する。
現在の安全ベンチマークは、短い静的タスクにフォーカスするため、累積的なリスクを捕捉できないことが多い。
環境の進化を通じて、スケーラブルなエージェントレッドチームのためのオープンなアリーナであるOpenARTを紹介します。
論文 参考訳（メタデータ） (2026-08-01T13:51:55Z) - AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities [55.23913617185508]
Agentは、LLM(Large Language Models)ベースのエージェントを評価するための、オープンソース、軽量、インフラストラクチャである。
Benchmark、Harness、Environmentという3つの独立したコンポーネントに関する評価プロセスを編成する。
フォールトトレラントなランタイムと、報酬ハックのような障害モードを透過的に診断する包括的なトラジェクトリ分析ツールを備えている。
論文 参考訳（メタデータ） (2026-07-15T11:11:17Z) - Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments [67.2234316079859]
GauntletBenchは、挑戦的なシナリオでエージェントの一般化を評価するためのWebベースのベンチマークである。
調査されていない5つのプロフェッショナルアプリケーションにわたる3つの機能(時間的知覚、グラフィカルな理解、そして3D推論)に焦点を当てている。
実験結果から,フロンティアエージェントシステムは人間レベルの性能を達成するには程遠いことが判明した。
論文 参考訳（メタデータ） (2026-06-12T12:32:24Z) - Cross-Vendor Sola ISPM Benchmark: Evaluating Agentic AI for Federated Identity Security Reasoning [0.41942958779358674]
既存の評価は、孤立した単一プラットフォーム環境に焦点を当てている。
我々は、50個のデータ基底タスクのプロダクショングレードベンチマークであるCross-Vendor Sola ISPMベンチマークを紹介する。
また、最終回答の正当性だけでなく、明らかな根拠も測定する評価フレームワークにも貢献する。
論文 参考訳（メタデータ） (2026-06-01T12:41:00Z) - AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions [78.49000936275773]
我々は、一般的な汚職下でのコンピュータ利用エージェントの堅牢性を評価するために設計されたベンチマークであるAgentHijackを紹介する。
MLLMをベースとした各種デスクトップタスクを評価し, 汚職の小さな事例であっても, 大幅な性能劣化が生じることを確認した。
本稿では,動作の要約と環境チェックに責任を負う見物人として,アクションジェネレータと接地機能を統合したフレームワークであるAgent Hijack-Agentを提案する。
論文 参考訳（メタデータ） (2026-05-25T11:09:22Z) - Constraint Decay: The Fragility of LLM Agents in Backend Code Generation [9.659020624935687]
大きな言語モデル(LLM)エージェントは、緩やかな仕様の下で、自律的なコード生成において強力なパフォーマンスを示す。
プロダクショングレードのソフトウェアは、アーキテクチャパターンやデータベース、オブジェクト-リレーショナルマッピングといった構造的制約に厳格に固執する必要がある。
本稿では,バックエンド生成における構造的制約を適切に扱えるかを評価する。
論文 参考訳（メタデータ） (2026-05-07T15:44:40Z) - DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。
DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。
DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
論文 参考訳（メタデータ） (2026-05-06T11:59:48Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - AutoPenBench: Benchmarking Generative Agents for Penetration Testing [42.681170697805726]
本稿では,自動貫入試験における生成エージェント評価のためのオープンベンチマークであるAutoPenBenchを紹介する。
エージェントが攻撃しなければならない脆弱性のあるシステムを表す33のタスクを含む包括的フレームワークを提案する。
完全自律型と半自律型という2つのエージェントアーキテクチャをテストすることで,AutoPenBenchのメリットを示す。
論文 参考訳（メタデータ） (2024-10-04T08:24:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。