論文の概要: OCCULT: Evaluating Large Language Models for Offensive Cyber Operation Capabilities

• arxiv url: http://arxiv.org/abs/2502.15797v1
• Date: Tue, 18 Feb 2025 19:33:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:49.047252
• Title: OCCULT: Evaluating Large Language Models for Offensive Cyber Operation Capabilities
• Title（参考訳）: OCCULT:攻撃的サイバー操作能力のための大規模言語モデルの評価
• Authors: Michael Kouremetis, Marissa Dotter, Alex Byrne, Dan Martin, Ethan Michalak, Gianpaolo Russo, Michael Threet, Guido Zarrella,
• Abstract要約: 我々は、実世界の攻撃的サイバー操作の実現とスケーリングに向けたAIの進歩を評価するための新しいアプローチを実証する。 我々は、サイバーセキュリティの専門家が厳格かつ反復可能な測定に貢献できる軽量な運用評価フレームワークであるOCCULTについて詳述する。 私たちは、現実的なサイバー脅威をスケールするためにAIが使用されるリスクが、最近著しく進歩していることに気付きました。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The prospect of artificial intelligence (AI) competing in the adversarial landscape of cyber security has long been considered one of the most impactful, challenging, and potentially dangerous applications of AI. Here, we demonstrate a new approach to assessing AI's progress towards enabling and scaling real-world offensive cyber operations (OCO) tactics in use by modern threat actors. We detail OCCULT, a lightweight operational evaluation framework that allows cyber security experts to contribute to rigorous and repeatable measurement of the plausible cyber security risks associated with any given large language model (LLM) or AI employed for OCO. We also prototype and evaluate three very different OCO benchmarks for LLMs that demonstrate our approach and serve as examples for building benchmarks under the OCCULT framework. Finally, we provide preliminary evaluation results to demonstrate how this framework allows us to move beyond traditional all-or-nothing tests, such as those crafted from educational exercises like capture-the-flag environments, to contextualize our indicators and warnings in true cyber threat scenarios that present risks to modern infrastructure. We find that there has been significant recent advancement in the risks of AI being used to scale realistic cyber threats. For the first time, we find a model (DeepSeek-R1) is capable of correctly answering over 90% of challenging offensive cyber knowledge tests in our Threat Actor Competency Test for LLMs (TACTL) multiple-choice benchmarks. We also show how Meta's Llama and Mistral's Mixtral model families show marked performance improvements over earlier models against our benchmarks where LLMs act as offensive agents in MITRE's high-fidelity offensive and defensive cyber operations simulation environment, CyberLayer.
• Abstract（参考訳）: サイバーセキュリティの敵対的な状況で競合する人工知能(AI)の展望は、長い間、AIの最も影響力があり、挑戦的で、潜在的に危険な応用の1つと考えられてきた。 ここでは、現代の脅威アクターが使用する実世界の攻撃サイバーオペレーション(OCO)戦略の実現とスケーリングに向けたAIの進歩を評価するための、新しいアプローチを示す。 OCCULTは、サイバーセキュリティの専門家が、任意の大規模言語モデル(LLM)やOCOに採用されているAIに関連する有望なサイバーセキュリティリスクの厳密かつ反復的な測定に貢献できる軽量な運用評価フレームワークである。 我々はまた、我々のアプローチを実証し、OCCULTフレームワークでベンチマークを構築するための例として機能するLLM用の3つの非常に異なるOCOベンチマークのプロトタイプと評価を行った。 最後に、このフレームワークが、キャプチャー・ザ・フラッグ環境のような教育演習から作り出されたような、従来のオール・オア・ナッシングテストを超えて、現代のインフラにリスクをもたらす真のサイバー脅威シナリオにおける指標と警告を文脈化するための、予備的な評価結果を提供する。 私たちは、現実的なサイバー脅威をスケールするためにAIが使用されるリスクが、最近著しく進歩していることに気付きました。 モデル(DeepSeek-R1)は、当社のThreat Actor Competency Test for LLMs(TACTL)マルチ選択ベンチマークにおいて、攻撃的なサイバー知識テストの90%以上に正しく答えることができます。 また、MetaのLlamaとMistralのMixtralモデルファミリーが、MITREの攻撃的かつ防御的なサイバー操作シミュレーション環境であるCyberLayerにおいて、LLMが攻撃的エージェントとして機能するベンチマークに対して、以前のモデルよりも顕著なパフォーマンス向上を示したことも示しています。

関連論文リスト

• LLM Cyber Evaluations Don't Capture Real-World Risk [0.0]
  大規模言語モデル(LLMs)は、サイバーセキュリティアプリケーションにおける進歩を誇示している。 これらの能力によって引き起こされるリスクを評価するための現在の取り組みは、現実のインパクトを理解するという目標と不一致である、と我々は主張する。
  論文  参考訳（メタデータ） (2025-01-31T05:33:48Z)
• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [70.93622520400385]
  本稿では,VLAに基づくロボットシステムのロバスト性を体系的に評価する。 本研究では,ロボット行動の不安定化に空間的基盤を活用する,標的のない位置認識型攻撃目標を提案する。 また、カメラの視野内に小さなカラフルなパッチを配置し、デジタル環境と物理環境の両方で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
  論文  参考訳（メタデータ） (2024-11-18T01:52:20Z)
• Catastrophic Cyber Capabilities Benchmark (3CB): Robustly Evaluating LLM Agent Cyber Offense Capabilities [1.1359551336076306]
  LLMエージェントの実際の攻撃能力を厳格に評価するフレームワークであるCatastrophic Cyber Capabilities Benchmark (3CB)を紹介する。 GPT-4o や Claude 3.5 Sonnet のようなフロンティアモデルでは,偵察や悪用といった攻撃的なタスクを実行できる。 我々のソフトウェアソリューションとそれに対応するベンチマークは、サイバー犯罪評価の迅速な改善能力と堅牢性の間のギャップを減らすための重要なツールを提供する。
  論文  参考訳（メタデータ） (2024-10-10T12:06:48Z)
• Cyber Knowledge Completion Using Large Language Models [1.4883782513177093]
  IoT(Internet of Things)をCPS(Cyber-Physical Systems)に統合することで,サイバー攻撃面が拡大した。 CPSのリスクを評価することは、不完全で時代遅れのサイバーセキュリティ知識のため、ますます困難になっている。 近年のLarge Language Models (LLMs) の進歩は、サイバー攻撃による知識の完成を促進するユニークな機会となる。
  論文  参考訳（メタデータ） (2024-09-24T15:20:39Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications [0.0]
  大規模言語モデル(LLM)は、高度な自然言語処理機能を提供することによって、様々なアプリケーションに革命をもたらした。 本稿では,LSMを利用したアプリケーションに適した脅威モデリングとリスク分析について検討する。
  論文  参考訳（メタデータ） (2024-06-16T16:43:58Z)
• Generative AI in Cybersecurity: A Comprehensive Review of LLM Applications and Vulnerabilities [1.0974825157329373]
  本稿では,ジェネレーティブAIとLarge Language Models(LLMs)によるサイバーセキュリティの将来を概観する。 ハードウェア設計のセキュリティ、侵入検知、ソフトウェアエンジニアリング、設計検証、サイバー脅威インテリジェンス、マルウェア検出、フィッシング検出など、さまざまな領域にわたるLCMアプリケーションを探索する。 GPT-4, GPT-3.5, Mixtral-8x7B, BERT, Falcon2, LLaMA などのモデルの発展に焦点を当て, LLM の進化とその現状について概説する。
  論文  参考訳（メタデータ） (2024-05-21T13:02:27Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。