論文の概要: AgentCyberRange: Benchmarking Frontier AI Systems in Realistic Cyber Ranges

• arxiv url: http://arxiv.org/abs/2606.14295v2
• Date: Tue, 16 Jun 2026 04:20:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 15:01:46.637094
• Title: AgentCyberRange: Benchmarking Frontier AI Systems in Realistic Cyber Ranges
• Title（参考訳）: AgentCyberRange: 現実的なサイバー範囲におけるフロンティアAIシステムのベンチマーク
• Authors: Fengyu Liu, Jiarun Dai, Yihe Fan, Wuyuao Mai, Ziao Li, Bofei Chen, Jie Zhang, Zheng Lou, Bocheng Xiang, Qiyi Zhang, Xudong Pan, Geng Hong, Yuan Zhang, Min Yang,
• Abstract要約: 我々はAgentCyberRangeを紹介した。AgentCyberRangeは、現実的なサイバー範囲で自律的なサイバー攻撃能力を測定するための、最初のオープンでマルチレンジのインフラである。 15の実際のWebアプリケーションと8つのエンタープライズライクなサイバーレンジに156の内部ホストを組み合わせた110の脆弱性に加えて、実行、オーケストレーション、結果収集、検証用のツールチェーンであるCageも備えている。 我々は、一致したプロンプトと予算の下で、6つのフロンティアAIシステムを評価します。GPT-5.5 with Codexは、Webエクスプロイトタスクの16.1%、探索後のタスクの31.7%を解決します。
• 参考スコア（独自算出の注目度）: 20.164879773235594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier AI systems are increasingly capable of cybersecurity tasks, including codebase inspection, vulnerability detection, and exploitation. However, evaluating their offensive capabilities remains constrained by limited access to open, reproducible, multi-host cyber ranges. Existing public benchmarks capture isolated skills such as CTF solving, vulnerability reproduction, and exploit generation, but often abstract away realistic intrusion workflows: discovering exposed services, gaining a foothold, collecting internal information, and expanding compromise across hosts. This gap makes it difficult to observe emerging risks early, because frontier AI systems are rarely evaluated under realistic attack conditions. We introduce AgentCyberRange, the first open, multi-range infrastructure for measuring autonomous cyber attack capability in realistic cyber ranges. It combines 110 vulnerabilities across 15 real web applications and 8 enterprise-like cyber ranges with 156 internal hosts, plus Cage, a toolchain for execution, orchestration, result collection, and verification. The benchmark covers two core stages: web exploitation, where agents explore exposed applications and validate vulnerabilities, and post exploitation, where agents turn an initial foothold into broader internal compromise. We evaluate six frontier AI systems under matched prompts and budgets. GPT-5.5 with Codex performs best, solving 16.1% of web exploitation tasks and 31.7% of post-exploitation tasks; with more concrete hints, these rates increase to 33.0% and 46.3%. We also observe out-of-benchmark findings, including unknown vulnerabilities in popular projects, and payload mutation that bypasses host defenses. These results show that open cyber-range evaluation is necessary for observing emerging offensive capabilities under realistic and reproducible conditions.
• Abstract（参考訳）: 最前線のAIシステムは、コードベースの検査、脆弱性検出、エクスプロイトなど、サイバーセキュリティタスクの能力がますます高まっている。 しかし、攻撃能力の評価は、オープンで再現可能な、マルチホストのサイバーレンジへのアクセス制限により、依然として制限されている。 既存の公開ベンチマークは、CTF解決、脆弱性の再現、エクスプロイト生成などの独立したスキルをキャプチャするが、露呈したサービスの検出、足場獲得、内部情報収集、ホスト間の妥協の拡大など、現実的な侵入ワークフローを抽象化することが多い。 このギャップは、フロンティアAIシステムが現実的な攻撃条件下で評価されることが滅多にないため、出現するリスクを早期に観察することが困難になる。 我々はAgentCyberRangeを紹介した。AgentCyberRangeは、現実的なサイバー範囲で自律的なサイバー攻撃能力を測定するための、最初のオープンでマルチレンジのインフラである。 15の実際のWebアプリケーションと8つのエンタープライズライクなサイバーレンジに156の内部ホストを組み合わせた110の脆弱性に加えて、実行、オーケストレーション、結果収集、検証用のツールチェーンであるCageも備えている。 ベンチマークは2つの中核的なステージをカバーしている。Webエクスプロイトでは、エージェントが露出したアプリケーションを探索し、脆弱性を検証する。 我々は、一致したプロンプトと予算の下で、6つのフロンティアAIシステムを評価する。 GPT-5.5 with Codexは16.1%のWebエクスプロイトタスクと31.7%のポストエクスプロイテーションタスクを解決し、より具体的なヒントでこれらのレートは33.0%と46.3%に上昇する。 また、一般的なプロジェクトにおける未知の脆弱性や、ホストの防御をバイパスするペイロード変異など、ベンチマーク外の発見も観察する。 これらの結果から,現実的かつ再現可能な条件下で出現する攻撃能力を観察するには,オープンなサイバーレンジ評価が必要であることが示唆された。

関連論文リスト

• CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities [66.48570184296857]
  CyberGym-E2Eは大規模かつ現実的なエンドツーエンドのサイバーセキュリティベンチマークである。 脆弱性発見、PoC生成、パッチ生成の全ライフサイクルにわたって、AIエージェントの能力を包括的に評価する。 ベンチマークは、139の異なるオープンソースプロジェクトで920の現実世界の脆弱性で構成されている。
  論文  参考訳（メタデータ） (2026-06-03T05:06:37Z)
• ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
  低レベルのプログラム推論を必要とするため、爆発は難しい作業です。 その重要性と診断価値にもかかわらず、搾取は未評価のままである。 ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
  論文  参考訳（メタデータ） (2026-05-11T18:00:14Z)
• Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw [87.97230960702274]
  本稿では,OpenClawの安全性評価について紹介する。 エージェントの永続状態を3次元に統一するCIK分類法を導入する。 評価では、ライブOpenClawインスタンス上の12のアタックシナリオをカバーしています。
  論文  参考訳（メタデータ） (2026-04-06T15:27:05Z)
• HackWorld: Evaluating Computer-Use Agents on Exploiting Web Application Vulnerabilities [20.201614123811872]
  HackWorldは、視覚的インタラクションを通じてWebアプリケーションの脆弱性を悪用するコンピュータ利用エージェントの機能を評価するための最初のフレームワークである。 11のフレームワークと7つの言語にまたがる36の現実世界のアプリケーションが含まれており、インジェクションの脆弱性、認証バイパス、安全でない入力処理といった現実的な欠陥を特徴としている。 複雑なWebインターフェースをナビゲートしながら、これらの弱点を特定し、活用するためのCUAの能力をテストする。
  論文  参考訳（メタデータ） (2025-10-14T06:52:15Z)
• Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
  44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。 Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。 私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
  論文  参考訳（メタデータ） (2025-07-28T05:13:04Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale [45.97598662617568]
  我々は188のソフトウェアプロジェクトにわたる1,507の実際の脆弱性を特徴とする大規模ベンチマークであるCyberGymを紹介した。 我々はCyberGymが35のゼロデイ脆弱性と17の歴史的不完全なパッチを発見できることを示した。 これらの結果は、CyberGymは、サイバーセキュリティにおけるAIの進歩を測定するための堅牢なベンチマークであるだけでなく、直接的な現実世界のセキュリティ効果を生み出すためのプラットフォームでもあることを強調している。
  論文  参考訳（メタデータ） (2025-06-03T07:35:14Z)
• CVE-Bench: A Benchmark for AI Agents' Ability to Exploit Real-World Web Application Vulnerabilities [6.752938800468733]
  大規模言語モデル(LLM)エージェントは、サイバー攻撃を自律的に行う能力が高まっている。 既存のベンチマークは、抽象化されたCapture the Flagコンペティションに制限されているか、包括的なカバレッジが欠如しているため、不足している。 私たちはCVE-Benchを紹介します。CVE-Benchは、クリティカルシヴァリティ・コモン・脆弱性と露出に基づく、現実世界のサイバーセキュリティベンチマークです。
  論文  参考訳（メタデータ） (2025-03-21T17:32:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。