論文の概要: Cybersecurity AI Benchmark (CAIBench): A Meta-Benchmark for Evaluating Cybersecurity AI Agents
- arxiv url: http://arxiv.org/abs/2510.24317v1
- Date: Tue, 28 Oct 2025 11:36:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 15:35:37.092356
- Title: Cybersecurity AI Benchmark (CAIBench): A Meta-Benchmark for Evaluating Cybersecurity AI Agents
- Title（参考訳）: サイバーセキュリティAIベンチマーク(CAIBench):サイバーセキュリティAIエージェントの評価のためのメタベンチマーク
- Authors: María Sanz-Gómez, Víctor Mayoral-Vilches, Francesco Balassone, Luis Javier Navarrete-Lozano, Cristóbal R. J. Veas Chavez, Maite del Mundo de Torres,
- Abstract要約: 既存のベンチマークは、統合されたパフォーマンスではなく、独立したスキルを評価する。
モジュール型メタベンチマークフレームワークであるCAIBench(Cybersecurity AI Benchmark)を紹介する。
適切なマッチは2.6$times$ variance in Attack and Defense CTFsまで改善される。
- 参考スコア（独自算出の注目度）: 0.36134114973155557
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Cybersecurity spans multiple interconnected domains, complicating the development of meaningful, labor-relevant benchmarks. Existing benchmarks assess isolated skills rather than integrated performance. We find that pre-trained knowledge of cybersecurity in LLMs does not imply attack and defense abilities, revealing a gap between knowledge and capability. To address this limitation, we present the Cybersecurity AI Benchmark (CAIBench), a modular meta-benchmark framework that allows evaluating LLM models and agents across offensive and defensive cybersecurity domains, taking a step towards meaningfully measuring their labor-relevance. CAIBench integrates five evaluation categories, covering over 10,000 instances: Jeopardy-style CTFs, Attack and Defense CTFs, Cyber Range exercises, knowledge benchmarks, and privacy assessments. Key novel contributions include systematic simultaneous offensive-defensive evaluation, robotics-focused cybersecurity challenges (RCTF2), and privacy-preserving performance assessment (CyberPII-Bench). Evaluation of state-of-the-art AI models reveals saturation on security knowledge metrics (~70\% success) but substantial degradation in multi-step adversarial (A\&D) scenarios (20-40\% success), or worse in robotic targets (22\% success). The combination of framework scaffolding and LLM model choice significantly impacts performance; we find that proper matches improve up to 2.6$\times$ variance in Attack and Defense CTFs. These results demonstrate a pronounced gap between conceptual knowledge and adaptive capability, emphasizing the need for a meta-benchmark.
- Abstract（参考訳）: サイバーセキュリティは複数の相互接続ドメインにまたがっており、意味のある労働関連ベンチマークの開発を複雑にしている。
既存のベンチマークは、統合されたパフォーマンスではなく、独立したスキルを評価する。
LLMにおけるサイバーセキュリティに関する事前訓練された知識は、攻撃力と防御能力の区別を示さず、知識と能力のギャップを明らかにしている。
この制限に対処するために、CAIBench(Cybersecurity AI Benchmark)というモジュラーメタベンチマークフレームワークを紹介します。
CAIBenchは、JeopardyスタイルのCTF、アタックとディフェンスのCTF、サイバーレンジのエクササイズ、知識ベンチマーク、プライバシーアセスメントの5つの評価カテゴリを統合している。
主要な貢献は、体系的な同時攻撃防御評価、ロボティクスに焦点を当てたサイバーセキュリティ課題(RCTF2)、プライバシ保護性能評価(CyberPII-Bench)である。
最先端AIモデルの評価は、セキュリティ知識メトリクスの飽和(約70 %の成功)を示すが、マルチステップの逆境(A\&D)シナリオ(20-40 %の成功)や、ロボットターゲット(22 %の成功)は著しく低下する。
フレームワークのスキャフォールディングとLLMモデルの選択の組み合わせは性能に大きな影響を与え、適切なマッチは攻撃と防衛のCTFにおける2.6$\times$分散に改善する。
これらの結果は,メタベンチマークの必要性を強調し,概念知識と適応能力の明確なギャップを示すものである。
関連論文リスト
- CyberSOCEval: Benchmarking LLMs Capabilities for Malware Analysis and Threat Intelligence Reasoning [1.3863707631653515]
サイバーディフェンダーは、セキュリティ警告、脅威情報信号、ビジネスコンテキストの変化に圧倒されている。
既存の評価では、現実世界のディフェンダーに最も関係のあるシナリオを十分に評価していない。
我々はCyberSecEval 4.0のオープンソースベンチマークスイートであるCyberSOCEvalを紹介した。
論文 参考訳（メタデータ） (2025-09-24T14:33:07Z) - A Systematic Survey of Model Extraction Attacks and Defenses: State-of-the-Art and Perspectives [65.3369988566853]
近年の研究では、敵が対象モデルの機能を複製できることが示されている。
モデル抽出攻撃は知的財産権、プライバシー、システムのセキュリティに脅威をもたらす。
本稿では,攻撃機構,防衛手法,計算環境に応じてMEAを分類する新しい分類法を提案する。
論文 参考訳（メタデータ） (2025-08-20T19:49:59Z) - The Application of Transformer-Based Models for Predicting Consequences of Cyber Attacks [0.4604003661048266]
脅威モデリング(Threat Modeling)は、サイバーセキュリティの専門家に重要なサポートを提供し、タイムリーに行動し、他の場所で使用可能なリソースを割り当てることを可能にする。
近年,攻撃記述の評価やサイバー攻撃の今後の結果を予測するための自動手法の必要性が高まっている。
本研究では,NLP(Natural Language Processing)とディープラーニング(Deep Learning)がサイバー攻撃の潜在的影響を分析するためにどのように応用できるかを検討する。
論文 参考訳（メタデータ） (2025-08-18T15:46:36Z) - CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale [45.97598662617568]
我々は188のソフトウェアプロジェクトにわたる1,507の実際の脆弱性を特徴とする大規模ベンチマークであるCyberGymを紹介した。
我々はCyberGymが35のゼロデイ脆弱性と17の歴史的不完全なパッチを発見できることを示した。
これらの結果は、CyberGymは、サイバーセキュリティにおけるAIの進歩を測定するための堅牢なベンチマークであるだけでなく、直接的な現実世界のセキュリティ効果を生み出すためのプラットフォームでもあることを強調している。
論文 参考訳（メタデータ） (2025-06-03T07:35:14Z) - The Digital Cybersecurity Expert: How Far Have We Come? [49.89857422097055]
我々は,サイバーセキュリティの専門家が期待する345の知識ポイントに基づいた,きめ細かいサイバーセキュリティ評価フレームワークであるCSEBenchmarkを開発した。
CSEBenchmarkで12のポピュラーな大言語モデル(LLM)を評価し、最高のパフォーマンスモデルでさえ全体の精度は85.42%に過ぎなかった。
各LSMにおける特定の知識ギャップを特定し,対処することにより,事前の誤り予測の修正において最大84%の改善が達成される。
論文 参考訳（メタデータ） (2025-04-16T05:36:28Z) - AttackSeqBench: Benchmarking Large Language Models in Analyzing Attack Sequences within Cyber Threat Intelligence [17.234214109636113]
サイバー脅威インテリジェンス(CTI)は、敵の行動と行動可能な知識への意図に関する証拠を合成し、サイバー脅威の観察を文書化している。
CTIレポートの非構造的かつ冗長な性質は、セキュリティ実践者が手動でこのようなシーケンスを抽出し分析する上で大きな課題となる。
大規模言語モデル(LLM)は、エンティティ抽出や知識グラフ構築などのサイバーセキュリティタスクにおいて有望であるが、それらの理解と行動シーケンスに対する推論能力はいまだ探索されていない。
論文 参考訳（メタデータ） (2025-03-05T04:25:21Z) - OCCULT: Evaluating Large Language Models for Offensive Cyber Operation Capabilities [0.0]
我々は、実世界の攻撃的サイバー操作の実現とスケーリングに向けたAIの進歩を評価するための新しいアプローチを実証する。
我々は、サイバーセキュリティの専門家が厳格かつ反復可能な測定に貢献できる軽量な運用評価フレームワークであるOCCULTについて詳述する。
私たちは、現実的なサイバー脅威をスケールするためにAIが使用されるリスクが、最近著しく進歩していることに気付きました。
論文 参考訳（メタデータ） (2025-02-18T19:33:14Z) - SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。
手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。
このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z) - MF-CLIP: Leveraging CLIP as Surrogate Models for No-box Adversarial Attacks [65.86360607693457]
敵に事前の知識がないノンボックス攻撃は、実際的な関連性にもかかわらず、比較的過小評価されている。
本研究は,大規模ビジョン・ランゲージ・モデル(VLM)をノンボックス・アタックの実行のための代理モデルとして活用するための体系的な研究である。
理論的および実証的な分析により,バニラCLIPを直接サロゲートモデルとして適用するための識別能力の不足に起因するno-boxアタックの実行に重要な制限があることが判明した。
MF-CLIP(MF-CLIP: MF-CLIP)はCLIPのサロゲートモデルとしての有効性を高める新しいフレームワークである。
論文 参考訳（メタデータ） (2023-07-13T08:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。