論文の概要: A Framework for Evaluating Emerging Cyberattack Capabilities of AI
- arxiv url: http://arxiv.org/abs/2503.11917v2
- Date: Mon, 31 Mar 2025 10:35:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 14:30:28.142400
- Title: A Framework for Evaluating Emerging Cyberattack Capabilities of AI
- Title（参考訳）: AIの創発的サイバー攻撃能力評価フレームワーク
- Authors: Mikel Rodriguez, Raluca Ada Popa, Four Flynn, Lihao Liang, Allan Dafoe, Anna Wang,
- Abstract要約: 本研究は,(1)エンド・ツー・エンド・エンド・アタック・チェーンの検証,(2)AI脅威評価のギャップの同定,(3)目標とする緩和の優先順位付けを支援する,という制約に対処する新たな評価フレームワークを導入する。
私たちは、GoogleのThreat Intelligence Groupがカタログ化したサイバー攻撃で12,000以上の実世界のAIインスタンスを分析しました。
私たちのベンチマークは、さまざまなサイバー攻撃フェーズにまたがる50の新たな課題で構成されています。
- 参考スコア（独自算出の注目度）: 11.595840449117052
- License:
- Abstract: As frontier AI models become more capable, evaluating their potential to enable cyberattacks is crucial for ensuring the safe development of Artificial General Intelligence (AGI). Current cyber evaluation efforts are often ad-hoc, lacking systematic analysis of attack phases and guidance on targeted defenses. This work introduces a novel evaluation framework that addresses these limitations by: (1) examining the end-to-end attack chain, (2) identifying gaps in AI threat evaluation, and (3) helping defenders prioritize targeted mitigations and conduct AI-enabled adversary emulation for red teaming. Our approach adapts existing cyberattack chain frameworks for AI systems. We analyzed over 12,000 real-world instances of AI use in cyberattacks catalogued by Google's Threat Intelligence Group. Based on this analysis, we curated seven representative cyberattack chain archetypes and conducted a bottleneck analysis to pinpoint potential AI-driven cost disruptions. Our benchmark comprises 50 new challenges spanning various cyberattack phases. Using this benchmark, we devised targeted cybersecurity model evaluations, report on AI's potential to amplify offensive capabilities across specific attack phases, and offer recommendations for prioritizing defenses. We believe this represents the most comprehensive AI cyber risk evaluation framework published to date.
- Abstract（参考訳）: フロンティアAIモデルがより有能になるにつれて、サイバー攻撃を可能にする可能性を評価することは、AI(Artificial General Intelligence, AGI)の安全な開発を保証するために不可欠である。
現在のサイバー評価の取り組みは、しばしばアドホックであり、攻撃フェーズの体系的な分析と目標とする防御に関するガイダンスが欠如している。
本研究は,(1)エンド・ツー・エンド・エンド・アタック・チェーンの検証,(2)AI脅威評価のギャップの特定,(3)目標の緩和を優先し,AI対応の敵エミュレーションをレッド・チームで行うことを支援することによる,これらの制限に対処する新たな評価フレームワークを紹介する。
我々のアプローチは、既存のサイバー攻撃チェーンフレームワークをAIシステムに適用する。
私たちは、GoogleのThreat Intelligence Groupがカタログ化したサイバー攻撃で12,000以上の実世界のAIインスタンスを分析しました。
この分析に基づいて,7つの代表的なサイバー攻撃チェーンのアーチタイプをキュレートし,AIによるコスト破壊の可能性を見極めるボトルネック分析を行った。
私たちのベンチマークは、さまざまなサイバー攻撃フェーズにまたがる50の新たな課題で構成されています。
このベンチマークを用いて、ターゲットとなるサイバーセキュリティモデルの評価を考案し、特定の攻撃フェーズをまたいで攻撃能力を増幅するAIの可能性について報告し、防御を優先順位付けするための推奨事項を提示した。
これは、これまで公表された最も包括的なAIサイバーリスク評価フレームワークだと考えています。
関連論文リスト
- Countering Autonomous Cyber Threats [40.00865970939829]
ファンデーションモデルは、サイバードメイン内で広く、特に二元的関心事を提示します。
近年の研究では、これらの先進的なモデルが攻撃的なサイバースペース操作を通知または独立に実行する可能性を示している。
この研究は、孤立したネットワークでマシンを妥協する能力について、最先端のいくつかのFMを評価し、そのようなAIによる攻撃を倒す防御メカニズムを調査する。
論文 参考訳（メタデータ） (2024-10-23T22:46:44Z) - Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-09-23T10:18:10Z) - Is Generative AI the Next Tactical Cyber Weapon For Threat Actors? Unforeseen Implications of AI Generated Cyber Attacks [0.0]
本稿では,AIの誤用によるエスカレート脅威,特にLarge Language Models(LLMs)の使用について述べる。
一連の制御された実験を通じて、これらのモデルがどのようにして倫理的およびプライバシー保護を回避し、効果的にサイバー攻撃を発生させるかを実証する。
私たちはまた、サイバー攻撃の自動化と実行のために特別に設計されたカスタマイズされた微調整のLLMであるOccupy AIを紹介します。
論文 参考訳（メタデータ） (2024-08-23T02:56:13Z) - Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。
サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。
ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
論文 参考訳（メタデータ） (2024-05-09T18:15:12Z) - A Survey of Security in UAVs and FANETs: Issues, Threats, Analysis of Attacks, and Solutions [1.0923877073891446]
UAVとUAV間の通信を提供するネットワークのセキュリティを確保することが重要である。
この調査は、UAVとFlying Ad Hoc Networks(FANETs)のドメイン内のセキュリティに関する総合的な視点を提供することを目指している。
論文 参考訳（メタデータ） (2023-06-25T16:15:40Z) - Proceedings of the Artificial Intelligence for Cyber Security (AICS)
Workshop at AAAI 2022 [55.573187938617636]
ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。
サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
論文 参考訳（メタデータ） (2022-02-28T18:27:41Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳（メタデータ） (2021-11-23T23:42:16Z) - The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。
敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
論文 参考訳（メタデータ） (2021-06-26T10:50:07Z) - Security and Privacy for Artificial Intelligence: Opportunities and
Challenges [11.368470074697747]
近年、ほとんどのAIモデルは高度なハッキング技術に弱い。
この課題は、敵AIの研究努力を共同で進めるきっかけとなった。
我々は、AIアプリケーションに対する敵攻撃を実証する総合的なサイバーセキュリティレビューを提示する。
論文 参考訳（メタデータ） (2021-02-09T06:06:13Z) - Enabling Efficient Cyber Threat Hunting With Cyber Threat Intelligence [94.94833077653998]
ThreatRaptorは、オープンソースのCyber Threat Intelligence(OSCTI)を使用して、コンピュータシステムにおける脅威追跡を容易にするシステムである。
構造化されていないOSCTIテキストから構造化された脅威行動を抽出し、簡潔で表現力豊かなドメイン固有クエリ言語TBQLを使用して悪意のあるシステムアクティビティを探索する。
広範囲にわたる攻撃事例の評価は、現実的な脅威狩りにおけるThreatRaptorの精度と効率を実証している。
論文 参考訳（メタデータ） (2020-10-26T14:54:01Z) - Adversarial Machine Learning Attacks and Defense Methods in the Cyber
Security Domain [58.30296637276011]
本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。
サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
論文 参考訳（メタデータ） (2020-07-05T18:22:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。