論文の概要: CyberArena: Benchmarking AI Agents in Live Symmetric Attack-and-Defense Combat
- arxiv url: http://arxiv.org/abs/2610.19005v2
- Date: Mon, 19 Oct 2026 07:26:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 06:32:45.289077
- Title: CyberArena: Benchmarking AI Agents in Live Symmetric Attack-and-Defense Combat
- Title(参考訳): CyberArena:AIエージェントのベンチマーク
- Abstract要約: マルチラウンド・アタック・アンド・ディフェンス・バトルを中心に構築された動的で対称な敵のベンチマークであるCyberArenaを提示する。
隔離されたサンドボックスでは、2つのエージェントが同一のルールの下で競合し、攻撃者と防御者の両方として同時に機能する。
これにより、静的ターゲットを進化中の半オープンな課題に変換し、脆弱性を発見し、悪用し、パッチする際のエージェントのスピードと精度を直接テストする。
- 参考スコア(独自算出の注目度): 54.28641762077735
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: AI agents are demonstrating increasingly strong offensive and defensive cybersecurity capabilities in the real world. Current benchmarks mostly evaluate agents in isolation against static targets. Real cyber operations, however, are dynamic and coupled: security postures constantly change as attackers and defenders adapt to each other in real time. Static benchmarks quickly saturate and miss an agent's ability to attack and defend simultaneously under live pressure. To address this gap, we present CyberArena, a dynamic, symmetric adversarial benchmark built around multi-round attack-and-defense combat. In isolated sandboxes, two agents compete under identical rules, acting concurrently as both attackers and defenders over continuously changing services. This converts static targets into evolving, semi-open challenges, directly testing an agent's speed and precision in discovering, exploiting, and patching vulnerabilities. To sustain the benchmark's longevity, an automated agentic pipeline continuously generates, reviews, and validates new environments. Furthermore, because pairwise contests are notoriously hard to quantify, we introduce a dynamical model that maps match dynamics into unified, multidimensional scores across offensive, defensive, and domain-specific capabilities. Evaluating 12 frontier LLM agents across 40 challenges in 466 matches, CyberArena separates model capabilities where single-agent baselines hit a ceiling. The trajectories read like a fight rather than an exam: defenders patch one hole and miss the next and certify repairs on stale evidence, while capable agents think a move ahead, planting backdoors for later rounds and, in one case, writing their own packet sniffer to watch the opponent. Beyond a benchmark, CyberArena serves as an adaptable, scalable experimental platform for future research on cybersecurity agents.
- Abstract(参考訳): AIエージェントは、現実世界でますます強力な攻撃的および防衛的サイバーセキュリティ機能を誇示している。
現在のベンチマークでは、エージェントを静的ターゲットに対して分離して評価している。
しかし、実際のサイバー操作は動的で結合的であり、攻撃者やディフェンダーがリアルタイムで互いに適応するにつれて、セキュリティ姿勢は常に変化します。
静的ベンチマークは急速に飽和し、生きた圧力の下で攻撃と防御を同時に行うエージェントの能力を見逃す。
このギャップに対処するために、マルチラウンドの攻撃と防御の戦闘を中心に構築された動的で対称な敵対的ベンチマークであるCyberArenaを紹介する。
隔離されたサンドボックスでは、2つのエージェントが同一のルールの下で競合し、継続的に変化するサービスに対して攻撃者と防御者の両方が同時に機能する。
これにより、静的ターゲットを進化中の半オープンな課題に変換し、脆弱性を発見し、悪用し、パッチする際のエージェントのスピードと精度を直接テストする。
ベンチマークの寿命を維持するため、自動エージェントパイプラインは、新しい環境を継続的に生成し、レビューし、検証する。
さらに、ペアワイズコンテストは定量化が難しいことで知られているため、攻撃的、防御的、ドメイン固有の機能にまたがって、ダイナミックスを統一された多次元スコアにマッピングするダイナミクスモデルを導入する。
466試合で40の課題にまたがる12のフロンティアLSMエージェントを評価し、CyberArenaはシングルエージェントのベースラインが天井にぶつかるモデル機能を分離した。
トラジェクトリーは試験ではなく戦いのように読み上げられた: ディフェンダーは1つの穴にパッチを当てて次の穴を逃し、古い証拠の修理を認証する一方で、有能なエージェントは前進を考え、後続のラウンドのためにバックドアを植え、そしてある場合には、相手を監視するために独自のパケットスニファーを書く。
ベンチマークの他に、CyberArenaは、将来のサイバーセキュリティエージェントの研究のための適応可能でスケーラブルな実験プラットフォームとして機能する。
関連論文リスト
- Dynamic Cyber Ranges [0.3179229570536315]
動的サイバーレンジ: インフラを強化し、侵入を監視し、リアルタイムで応答するLLM駆動のデフェンダーエージェントで強化されたサイバーレンジ環境を提案する。
攻撃者とディフェンダーエージェントは同じモデル能力から引き出されるため、Dynamic Cyber Rangesはモデルの改善に伴って評価ヘッドルームを保存する。
特に、小さな専用オンプレミスモデル(エイリアス2-mini)は、同じ未修正プロンプトの下で複数のシナリオでフロンティアモデルの防御結果と一致し、複雑なエンタープライズシナリオで攻撃者を10倍早く検出した。
論文 参考訳(メタデータ) (2026-04-27T08:44:30Z) - Game-Theoretic Modeling of Stealthy Intrusion Defense against MDP-Based Attackers [1.230067722774416]
我々は、攻撃グラフ上の攻撃者とディフェンダーとの間の戦略的相互作用として、高度な永続的脅威をモデル化する。
攻撃者の位置と進行に関する限られた情報により、ディフェンダーは侵入検知センサーを配置することでランダムな間隔で行動する。
我々は、対応する最適化問題を解くことによって最適な防御戦略を導出する。
論文 参考訳(メタデータ) (2026-03-10T12:35:57Z) - CyGATE: Game-Theoretic Cyber Attack-Defense Engine for Patch Strategy Optimization [73.13843039509386]
本稿では,攻撃と防御の相互作用をモデル化するゲーム理論フレームワークCyGATEを提案する。
CyGATEはサイバー・キル・チェーン(Cyber Kill Chain)の段階にわたって、サイバー紛争を部分的に観察可能なゲーム(POSG)として捉えている。
フレームワークの柔軟なアーキテクチャは、マルチエージェントシナリオの拡張を可能にする。
論文 参考訳(メタデータ) (2025-08-01T09:53:06Z) - Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。
このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。
我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
論文 参考訳(メタデータ) (2025-06-09T06:35:12Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳(メタデータ) (2021-11-23T23:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。