論文の概要: PACEbench: A Framework for Evaluating Practical AI Cyber-Exploitation Capabilities

• arxiv url: http://arxiv.org/abs/2510.11688v1
• Date: Mon, 13 Oct 2025 17:50:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.49405
• Title: PACEbench: A Framework for Evaluating Practical AI Cyber-Exploitation Capabilities
• Title（参考訳）: PACEbench: 実践的なAIサイバー拡散能力を評価するフレームワーク
• Authors: Zicheng Liu, Lige Huang, Jie Zhang, Dongrui Liu, Yuan Tian, Jing Shao,
• Abstract要約: 我々は,実践的なAIサイバー探索ベンチマークであるPACEbenchを紹介する。 PACEbenchは、シングル、ブレンド、チェーン、防御脆弱性のエクスプロイトにまたがる4つのシナリオで構成されている。 PACEagentは,多相偵察,解析,利用の支援により,ヒトの浸透試験をエミュレートする新しいエージェントである。
• 参考スコア（独自算出の注目度）: 42.61805002268063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing autonomy of Large Language Models (LLMs) necessitates a rigorous evaluation of their potential to aid in cyber offense. Existing benchmarks often lack real-world complexity and are thus unable to accurately assess LLMs' cybersecurity capabilities. To address this gap, we introduce PACEbench, a practical AI cyber-exploitation benchmark built on the principles of realistic vulnerability difficulty, environmental complexity, and cyber defenses. Specifically, PACEbench comprises four scenarios spanning single, blended, chained, and defense vulnerability exploitations. To handle these complex challenges, we propose PACEagent, a novel agent that emulates human penetration testers by supporting multi-phase reconnaissance, analysis, and exploitation. Extensive experiments with seven frontier LLMs demonstrate that current models struggle with complex cyber scenarios, and none can bypass defenses. These findings suggest that current models do not yet pose a generalized cyber offense threat. Nonetheless, our work provides a robust benchmark to guide the trustworthy development of future models.
• Abstract（参考訳）: LLM(Large Language Models)の自律性の向上は、サイバー犯罪に対処する可能性の厳格な評価を必要とする。 既存のベンチマークは現実の複雑さを欠くことが多く、そのためLLMのサイバーセキュリティ能力を正確に評価することができない。 このギャップに対処するため、私たちは、現実的な脆弱性の難しさ、環境の複雑さ、サイバー防御の原則に基づいて構築された、実践的なAIサイバー探索ベンチマークであるPACEbenchを紹介します。 具体的には、PACEbenchはシングル、ブレンド、チェーン、防御脆弱性のエクスプロイトにまたがる4つのシナリオで構成されている。 このような複雑な課題に対処するために,多相偵察,解析,利用の支援により,ヒトの浸透試験をエミュレートする新しいエージェントである PACEagent を提案する。 7つのフロンティアLSMによる大規模な実験は、現在のモデルが複雑なサイバーシナリオと競合し、防御を回避できないことを示した。 これらの結果は、現在のモデルは、一般的なサイバー犯罪の脅威をまだ起こさないことを示唆している。 それでも私たちの研究は、将来のモデルの信頼できる開発を導くための堅牢なベンチマークを提供しています。

関連論文リスト

• CyberSOCEval: Benchmarking LLMs Capabilities for Malware Analysis and Threat Intelligence Reasoning [1.3863707631653515]
  サイバーディフェンダーは、セキュリティ警告、脅威情報信号、ビジネスコンテキストの変化に圧倒されている。 既存の評価では、現実世界のディフェンダーに最も関係のあるシナリオを十分に評価していない。 我々はCyberSecEval 4.0のオープンソースベンチマークスイートであるCyberSOCEvalを紹介した。
  論文  参考訳（メタデータ） (2025-09-24T14:33:07Z)
• A Systematic Survey of Model Extraction Attacks and Defenses: State-of-the-Art and Perspectives [65.3369988566853]
  近年の研究では、敵が対象モデルの機能を複製できることが示されている。 モデル抽出攻撃は知的財産権、プライバシー、システムのセキュリティに脅威をもたらす。 本稿では,攻撃機構,防衛手法,計算環境に応じてMEAを分類する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2025-08-20T19:49:59Z)
• MISLEADER: Defending against Model Extraction with Ensembles of Distilled Models [56.09354775405601]
  モデル抽出攻撃は、クエリアクセスを通じてブラックボックスモデルの機能を複製することを目的としている。 既存のディフェンスでは、アタッカークエリにはオフ・オブ・ディストリビューション(OOD)サンプルがあることを前提としており、不審な入力を検出し破壊することができる。 OOD仮定に依存しない新しい防衛戦略であるMISLEADERを提案する。
  論文  参考訳（メタデータ） (2025-06-03T01:37:09Z)
• A Framework for Evaluating Emerging Cyberattack Capabilities of AI [11.595840449117052]
  本研究は,(1)エンド・ツー・エンド・エンド・アタック・チェーンの検証,(2)AI脅威評価のギャップの同定,(3)目標とする緩和の優先順位付けを支援する,という制約に対処する新たな評価フレームワークを導入する。 我々は、GoogleのThreat Intelligence Groupがカタログ化したサイバーインシデントにAIが関与した12,000件以上の実世界の事例を分析し、7つの代表的なアタックチェーンのアーキタイプをキュレートした。 我々は、特定の攻撃段階にわたって攻撃能力を増幅するAIの可能性について報告し、防御の優先順位付けを推奨する。
  論文  参考訳（メタデータ） (2025-03-14T23:05:02Z)
• Why Are Web AI Agents More Vulnerable Than Standalone LLMs? A Security Analysis [47.34614558636679]
  本研究では,WebAIエージェントの脆弱性の増加に寄与する要因について検討する。 我々は,WebAIエージェントの脆弱性を増幅する3つの重要な要因,(1)ユーザの目標をシステムプロンプトに埋め込んだこと,(2)マルチステップアクション生成,(3)観察能力の3つを特定した。
  論文  参考訳（メタデータ） (2025-02-27T18:56:26Z)
• OCCULT: Evaluating Large Language Models for Offensive Cyber Operation Capabilities [0.0]
  我々は、実世界の攻撃的サイバー操作の実現とスケーリングに向けたAIの進歩を評価するための新しいアプローチを実証する。 我々は、サイバーセキュリティの専門家が厳格かつ反復可能な測定に貢献できる軽量な運用評価フレームワークであるOCCULTについて詳述する。 私たちは、現実的なサイバー脅威をスケールするためにAIが使用されるリスクが、最近著しく進歩していることに気付きました。
  論文  参考訳（メタデータ） (2025-02-18T19:33:14Z)
• Countering Autonomous Cyber Threats [40.00865970939829]
  ファンデーションモデルは、サイバードメイン内で広く、特に二元的関心事を提示します。 近年の研究では、これらの先進的なモデルが攻撃的なサイバースペース操作を通知または独立に実行する可能性を示している。 この研究は、孤立したネットワークでマシンを妥協する能力について、最先端のいくつかのFMを評価し、そのようなAIによる攻撃を倒す防御メカニズムを調査する。
  論文  参考訳（メタデータ） (2024-10-23T22:46:44Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。