論文の概要: A Framework for Evaluating Emerging Cyberattack Capabilities of AI
- arxiv url: http://arxiv.org/abs/2503.11917v1
- Date: Fri, 14 Mar 2025 23:05:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 14:56:57.605824
- Title: A Framework for Evaluating Emerging Cyberattack Capabilities of AI
- Title（参考訳）: AIの創発的サイバー攻撃能力評価フレームワーク
- Authors: Mikel Rodriguez, Raluca Ada Popa, Four Flynn, Lihao Liang, Allan Dafoe, Anna Wang,
- Abstract要約: 本稿では,AIサイバー能力評価に対する新しいアプローチを提案する。
我々は、サイバー攻撃にAIを使おうとする現実世界の12,000件の事例を分析した。
私たちの評価ベンチマークは、サイバー攻撃の異なるフェーズにまたがる50の新たな課題で構成されています。
- 参考スコア（独自算出の注目度）: 11.595840449117052
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As frontier models become more capable, the community has attempted to evaluate their ability to enable cyberattacks. Performing a comprehensive evaluation and prioritizing defenses are crucial tasks in preparing for AGI safely. However, current cyber evaluation efforts are ad-hoc, with no systematic reasoning about the various phases of attacks, and do not provide a steer on how to use targeted defenses. In this work, we propose a novel approach to AI cyber capability evaluation that (1) examines the end-to-end attack chain, (2) helps to identify gaps in the evaluation of AI threats, and (3) helps defenders prioritize targeted mitigations and conduct AI-enabled adversary emulation to support red teaming. To achieve these goals, we propose adapting existing cyberattack chain frameworks to AI systems. We analyze over 12,000 instances of real-world attempts to use AI in cyberattacks catalogued by Google's Threat Intelligence Group. Using this analysis, we curate a representative collection of seven cyberattack chain archetypes and conduct a bottleneck analysis to identify areas of potential AI-driven cost disruption. Our evaluation benchmark consists of 50 new challenges spanning different phases of cyberattacks. Based on this, we devise targeted cybersecurity model evaluations, report on the potential for AI to amplify offensive cyber capabilities across specific attack phases, and conclude with recommendations on prioritizing defenses. In all, we consider this to be the most comprehensive AI cyber risk evaluation framework published so far.
- Abstract（参考訳）: フロンティアモデルがより有能になるにつれて、コミュニティはサイバー攻撃を可能にする能力を評価しようと試みてきた。
AGIを安全に準備する上では、総合的な評価と防御の優先順位付けが不可欠である。
しかし、現在のサイバーアセスメントの取り組みはアドホックであり、攻撃の様々な段階について体系的な理由を持たず、標的とする防御の使い方に関するステアーを提供していない。
本研究では,(1)エンド・ツー・エンドの攻撃連鎖を調べ,(2)AI脅威の評価におけるギャップを識別し,(3)ターゲットの緩和を優先し,AI対応の敵エミュレーションを実施してレッド・チーム化を支援する,新たなAIサイバー能力評価手法を提案する。
これらの目標を達成するために,既存のサイバー攻撃チェーンフレームワークをAIシステムに適用することを提案する。
私たちは、GoogleのThreat Intelligence Groupがカタログ化したサイバー攻撃でAIを使用した実世界の12,000件の事例を分析します。
この分析を用いて、7つのサイバー攻撃チェーンアーキタイプの代表的コレクションをキュレートし、ボトルネック分析を行い、AIによるコスト破壊の可能性を特定する。
私たちの評価ベンチマークは、サイバー攻撃の異なるフェーズにまたがる50の新たな課題で構成されています。
これに基づいて、ターゲットとなるサイバーセキュリティモデルの評価を考案し、特定の攻撃フェーズにわたって攻撃的なサイバー能力を増幅するAIの可能性について報告し、防御の優先順位付けに関する勧告で締めくくります。
全体として、これまでに公開された最も包括的なAIサイバーリスク評価フレームワークであると考えています。
関連論文リスト
- Graph of Effort: Quantifying Risk of AI Usage for Vulnerability Assessment [0.0]
非AI資産を攻撃するために使用されるAIは、攻撃的AIと呼ばれる。
高度な自動化や複雑なパターン認識など、その能力を利用するリスクは大幅に増大する可能性がある。
本稿では,攻撃的AIを敵による脆弱性攻撃に使用するために必要な労力を分析するための,直感的でフレキシブルで効果的な脅威モデリング手法であるGraph of Effortを紹介する。
論文 参考訳（メタデータ） (2025-03-20T17:52:42Z) - OCCULT: Evaluating Large Language Models for Offensive Cyber Operation Capabilities [0.0]
我々は、実世界の攻撃的サイバー操作の実現とスケーリングに向けたAIの進歩を評価するための新しいアプローチを実証する。
我々は、サイバーセキュリティの専門家が厳格かつ反復可能な測定に貢献できる軽量な運用評価フレームワークであるOCCULTについて詳述する。
私たちは、現実的なサイバー脅威をスケールするためにAIが使用されるリスクが、最近著しく進歩していることに気付きました。
論文 参考訳（メタデータ） (2025-02-18T19:33:14Z) - Countering Autonomous Cyber Threats [40.00865970939829]
ファンデーションモデルは、サイバードメイン内で広く、特に二元的関心事を提示します。
近年の研究では、これらの先進的なモデルが攻撃的なサイバースペース操作を通知または独立に実行する可能性を示している。
この研究は、孤立したネットワークでマシンを妥協する能力について、最先端のいくつかのFMを評価し、そのようなAIによる攻撃を倒す防御メカニズムを調査する。
論文 参考訳（メタデータ） (2024-10-23T22:46:44Z) - Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-09-23T10:18:10Z) - Is Generative AI the Next Tactical Cyber Weapon For Threat Actors? Unforeseen Implications of AI Generated Cyber Attacks [0.0]
本稿では,AIの誤用によるエスカレート脅威,特にLarge Language Models(LLMs)の使用について述べる。
一連の制御された実験を通じて、これらのモデルがどのようにして倫理的およびプライバシー保護を回避し、効果的にサイバー攻撃を発生させるかを実証する。
私たちはまた、サイバー攻撃の自動化と実行のために特別に設計されたカスタマイズされた微調整のLLMであるOccupy AIを紹介します。
論文 参考訳（メタデータ） (2024-08-23T02:56:13Z) - Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。
サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。
ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
論文 参考訳（メタデータ） (2024-05-09T18:15:12Z) - Proceedings of the Artificial Intelligence for Cyber Security (AICS)
Workshop at AAAI 2022 [55.573187938617636]
ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。
サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
論文 参考訳（メタデータ） (2022-02-28T18:27:41Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳（メタデータ） (2021-11-23T23:42:16Z) - The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。
敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
論文 参考訳（メタデータ） (2021-06-26T10:50:07Z) - Security and Privacy for Artificial Intelligence: Opportunities and
Challenges [11.368470074697747]
近年、ほとんどのAIモデルは高度なハッキング技術に弱い。
この課題は、敵AIの研究努力を共同で進めるきっかけとなった。
我々は、AIアプリケーションに対する敵攻撃を実証する総合的なサイバーセキュリティレビューを提示する。
論文 参考訳（メタデータ） (2021-02-09T06:06:13Z) - Adversarial Machine Learning Attacks and Defense Methods in the Cyber
Security Domain [58.30296637276011]
本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。
サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
論文 参考訳（メタデータ） (2020-07-05T18:22:40Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳（メタデータ） (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。