論文の概要: Cybersecurity AI: Evaluating Agentic Cybersecurity in Attack/Defense CTFs
- arxiv url: http://arxiv.org/abs/2510.17521v1
- Date: Mon, 20 Oct 2025 13:21:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:39.464596
- Title: Cybersecurity AI: Evaluating Agentic Cybersecurity in Attack/Defense CTFs
- Title(参考訳): サイバーセキュリティAI:攻撃/ディフェンスCTFにおけるエージェントサイバーセキュリティの評価
- Authors: Francesco Balassone, Víctor Mayoral-Vilches, Stefan Rass, Martin Pinzger, Gaetano Perrone, Simon Pietro Romano, Peter Schartner,
- Abstract要約: 我々は、サイバーセキュリティにおける攻撃や防御にAIシステムがより効果的であるかどうかを評価する。
統計分析によると、防御剤は54.3%の制約のないパッチング成功を達成している。
発見は、ディフェンダーがオープンソースのCybersecurity AIフレームワークを採用する緊急性を強調している。
- 参考スコア(独自算出の注目度): 3.6968315805917897
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We empirically evaluate whether AI systems are more effective at attacking or defending in cybersecurity. Using CAI (Cybersecurity AI)'s parallel execution framework, we deployed autonomous agents in 23 Attack/Defense CTF battlegrounds. Statistical analysis reveals defensive agents achieve 54.3% unconstrained patching success versus 28.3% offensive initial access (p=0.0193), but this advantage disappears under operational constraints: when defense requires maintaining availability (23.9%) and preventing all intrusions (15.2%), no significant difference exists (p>0.05). Exploratory taxonomy analysis suggests potential patterns in vulnerability exploitation, though limited sample sizes preclude definitive conclusions. This study provides the first controlled empirical evidence challenging claims of AI attacker advantage, demonstrating that defensive effectiveness critically depends on success criteria, a nuance absent from conceptual analyses but essential for deployment. These findings underscore the urgency for defenders to adopt open-source Cybersecurity AI frameworks to maintain security equilibrium against accelerating offensive automation.
- Abstract(参考訳): 我々は、AIシステムがサイバーセキュリティの攻撃や防御に効果があるかどうかを実証的に評価する。
CAI(Cybersecurity AI)の並列実行フレームワークを使用して、23のAttack/Defense CTFバトルグラウンドに自律エージェントをデプロイしました。
統計的分析によると、防御剤は攻撃的初期アクセス(p=0.0193)に対して54.3%の非拘束パッチ成功(p=0.0193)を達成したが、この利点は運用上の制約の下で消失している。
探索的な分類分析により、脆弱性の侵入の潜在的なパターンが示唆されるが、限られたサンプルサイズでは決定的な結論が得られない。
この研究は、AI攻撃者の主張に挑戦する最初の制御された実証的な証拠を提供し、防御効果が成功基準に大きく依存することを示した。
これらの調査結果は、攻撃的自動化の加速を防ぐためのセキュリティ均衡を維持するために、ディフェンダーがオープンソースのサイバーセキュリティAIフレームワークを採用する緊急性を強調している。
関連論文リスト
- The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections [74.60337113759313]
現在のジェイルブレイクとプロンプトインジェクションに対する防御は、通常、有害な攻撃文字列の静的セットに対して評価される。
我々は,この評価プロセスに欠陥があることを論じる。代わりに,攻撃戦略を明示的に修正したアダプティブアタッカーに対する防御を,防衛設計に対抗して評価すべきである。
論文 参考訳(メタデータ) (2025-10-10T05:51:04Z) - CIA+TA Risk Assessment for AI Reasoning Vulnerabilities [0.0]
本稿では,AI推論プロセスのシステム的保護である認知サイバーセキュリティの枠組みについて述べる。
まず、従来のサイバーセキュリティとAIの安全性を補完する規律として、認知サイバーセキュリティを確立します。
第2に、CIA+TAを導入し、従来の機密性、統合性、信頼による可用性を拡張します。
第3に,経験的導出係数を用いた定量的リスク評価手法を提案し,組織が認知的セキュリティリスクを計測できるようにする。
論文 参考訳(メタデータ) (2025-08-19T13:56:09Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳(メタデータ) (2025-07-28T05:13:04Z) - CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale [45.97598662617568]
我々は188のソフトウェアプロジェクトにわたる1,507の実際の脆弱性を特徴とする大規模ベンチマークであるCyberGymを紹介した。
我々はCyberGymが35のゼロデイ脆弱性と17の歴史的不完全なパッチを発見できることを示した。
これらの結果は、CyberGymは、サイバーセキュリティにおけるAIの進歩を測定するための堅牢なベンチマークであるだけでなく、直接的な現実世界のセキュリティ効果を生み出すためのプラットフォームでもあることを強調している。
論文 参考訳(メタデータ) (2025-06-03T07:35:14Z) - Frontier AI's Impact on the Cybersecurity Landscape [46.32458228179959]
AIはすでに攻撃に広く使われているが、その防衛用途は限られている。
専門家はAIが攻撃者を擁護し続けると予想しているが、そのギャップは徐々に狭まるだろう。
論文 参考訳(メタデータ) (2025-04-07T18:25:18Z) - Real AI Agents with Fake Memories: Fatal Context Manipulation Attacks on Web3 Agents [36.49717045080722]
本稿では,ブロックチェーンベースの金融エコシステムにおけるAIエージェントの脆弱性を,現実のシナリオにおける敵対的脅威に曝露した場合に検討する。
保護されていないコンテキストサーフェスを利用する包括的攻撃ベクトルであるコンテキスト操作の概念を導入する。
ElizaOSを使用することで、不正なインジェクションをプロンプトや履歴レコードに注入することで、不正なアセット転送やプロトコル違反が引き起こされることを示す。
論文 参考訳(メタデータ) (2025-03-20T15:44:31Z) - A Framework for Evaluating Emerging Cyberattack Capabilities of AI [11.595840449117052]
本研究は,(1)エンド・ツー・エンド・エンド・アタック・チェーンの検証,(2)AI脅威評価のギャップの同定,(3)目標とする緩和の優先順位付けを支援する,という制約に対処する新たな評価フレームワークを導入する。
我々は、GoogleのThreat Intelligence Groupがカタログ化したサイバーインシデントにAIが関与した12,000件以上の実世界の事例を分析し、7つの代表的なアタックチェーンのアーキタイプをキュレートした。
我々は、特定の攻撃段階にわたって攻撃能力を増幅するAIの可能性について報告し、防御の優先順位付けを推奨する。
論文 参考訳(メタデータ) (2025-03-14T23:05:02Z) - G$^2$uardFL: Safeguarding Federated Learning Against Backdoor Attacks
through Attributed Client Graph Clustering [116.4277292854053]
Federated Learning (FL)は、データ共有なしで協調的なモデルトレーニングを提供する。
FLはバックドア攻撃に弱いため、有害なモデル重みがシステムの整合性を損なう。
本稿では、悪意のあるクライアントの識別を属性グラフクラスタリング問題として再解釈する保護フレームワークであるG$2$uardFLを提案する。
論文 参考訳(メタデータ) (2023-06-08T07:15:04Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳(メタデータ) (2021-11-23T23:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。