論文の概要: CRAKEN: Cybersecurity LLM Agent with Knowledge-Based Execution

• arxiv url: http://arxiv.org/abs/2505.17107v1
• Date: Wed, 21 May 2025 11:01:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.570668
• Title: CRAKEN: Cybersecurity LLM Agent with Knowledge-Based Execution
• Title（参考訳）: CRAKEN: 知識に基づく実行を備えたサイバーセキュリティLLMエージェント
• Authors: Minghao Shao, Haoran Xi, Nanda Rani, Meet Udeshi, Venkata Sai Charan Putrevu, Kimberly Milner, Brendan Dolan-Gavitt, Sandeep Kumar Shukla, Prashanth Krishnamurthy, Farshad Khorrami, Ramesh Karri, Muhammad Shafique,
• Abstract要約: 大規模言語モデル(LLM)エージェントは、サイバーセキュリティタスクを自動化することができ、再設計することなく、進化するサイバーセキュリティの状況に適応することができる。 トレーニングデータ以外の最新のサイバーセキュリティの専門知識にアクセスし、複雑なタスク計画に新たな知識を統合することだ。 本稿では,3つのコア機構を通じて,サイバーセキュリティ能力を向上させる知識ベースLLMエージェントフレームワークであるCRAKENを提案する。
• 参考スコア（独自算出の注目度）: 22.86304661035188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) agents can automate cybersecurity tasks and can adapt to the evolving cybersecurity landscape without re-engineering. While LLM agents have demonstrated cybersecurity capabilities on Capture-The-Flag (CTF) competitions, they have two key limitations: accessing latest cybersecurity expertise beyond training data, and integrating new knowledge into complex task planning. Knowledge-based approaches that incorporate technical understanding into the task-solving automation can tackle these limitations. We present CRAKEN, a knowledge-based LLM agent framework that improves cybersecurity capability through three core mechanisms: contextual decomposition of task-critical information, iterative self-reflected knowledge retrieval, and knowledge-hint injection that transforms insights into adaptive attack strategies. Comprehensive evaluations with different configurations show CRAKEN's effectiveness in multi-stage vulnerability detection and exploitation compared to previous approaches. Our extensible architecture establishes new methodologies for embedding new security knowledge into LLM-driven cybersecurity agentic systems. With a knowledge database of CTF writeups, CRAKEN obtained an accuracy of 22% on NYU CTF Bench, outperforming prior works by 3% and achieving state-of-the-art results. On evaluation of MITRE ATT&CK techniques, CRAKEN solves 25-30% more techniques than prior work, demonstrating improved cybersecurity capabilities via knowledge-based execution. We make our framework open source to public https://github.com/NYU-LLM-CTF/nyuctf_agents_craken.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、サイバーセキュリティタスクを自動化することができ、再設計することなく、進化するサイバーセキュリティの状況に適応することができる。 LLMエージェントは、Capture-The-Flag(CTF)コンペティションでサイバーセキュリティ機能を実証しているが、これらには2つの重要な制限がある。 タスク解決自動化に技術的な理解を取り入れた知識ベースのアプローチは、これらの制限に対処できる。 課題クリティカル情報の文脈的分解,反復的自己認識型知識検索,および適応的な攻撃戦略に洞察を変換するナレッジ・ヒント・インジェクションという,3つのコアメカニズムを通じて,サイバーセキュリティ能力を向上させる知識ベースのLLMエージェントフレームワークであるCRAKENを提案する。 構成の異なる総合的な評価は、CRAKENのマルチステージ脆弱性検出およびエクスプロイトにおける有効性を示している。 我々の拡張可能なアーキテクチャは、新しいセキュリティ知識をLLM駆動のサイバーセキュリティエージェントシステムに組み込むための新しい手法を確立します。 CTFの知識データベースで、CRAKENはNYU CTF Benchで22%の精度を獲得し、以前の業績を3%上回り、最先端の結果を得た。 MITRE ATT&CK技術の評価では、CRAKENは以前の作業よりも25～30%のテクニックを解決し、知識ベースの実行によるサイバーセキュリティ機能の改善を実証している。 私たちはフレームワークをhttps://github.com/NYU-LLM-CTF/nyuctf_agents_craken.comに公開しています。

関連論文リスト

• Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report [50.268821168513654]
  我々は,Llama 3.1アーキテクチャ上に構築された,サイバーセキュリティにフォーカスした大規模言語モデル(LLM)であるFoundation-Sec-8Bを紹介する。 我々は、Llama 3.1-70B と GPT-4o-mini がサイバーセキュリティ固有のタスクで一致していることを示し、確立された新しいサイバーセキュリティベンチマークと新しいサイバーセキュリティベンチマークの両方で評価した。 当社のモデルを一般公開することで、公開とプライベート両方のサイバーセキュリティ状況において、AI駆動ツールの進歩と採用を加速することを目指しています。
  論文  参考訳（メタデータ） (2025-04-28T08:41:12Z)
• The Digital Cybersecurity Expert: How Far Have We Come? [49.89857422097055]
  我々は,サイバーセキュリティの専門家が期待する345の知識ポイントに基づいた,きめ細かいサイバーセキュリティ評価フレームワークであるCSEBenchmarkを開発した。 CSEBenchmarkで12のポピュラーな大言語モデル(LLM)を評価し、最高のパフォーマンスモデルでさえ全体の精度は85.42%に過ぎなかった。 各LSMにおける特定の知識ギャップを特定し,対処することにより,事前の誤り予測の修正において最大84%の改善が達成される。
  論文  参考訳（メタデータ） (2025-04-16T05:36:28Z)
• ChatNVD: Advancing Cybersecurity Vulnerability Assessment with Large Language Models [0.46873264197900916]
  ChatNVDはLarge Language Models(LLM)を利用したサポートツールで、ソフトウェア脆弱性のアクセス可能でコンテキストに富んだ要約を生成する。 我々は,OpenAIによるGPT-4o Mini,MetaによるLLaMA 3,GoogleによるGemini 1.5 Proの3つの著名なLCMを利用して,ChatNVDの3つの変種を開発した。 その結果、GPT-4o Miniは他のモデルよりも優れており、92%以上の精度と低いエラー率を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-12-06T03:45:49Z)
• In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [104.94706600050557]
  テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。 ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。 我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-25T04:17:24Z)
• CTINexus: Automatic Cyber Threat Intelligence Knowledge Graph Construction Using Large Language Models [49.657358248788945]
  サイバー脅威インテリジェンス(CTI)レポートのテキスト記述は、サイバー脅威に関する豊富な知識源である。 現在のCTI知識抽出法は柔軟性と一般化性に欠ける。 我々は,データ効率の高いCTI知識抽出と高品質サイバーセキュリティ知識グラフ(CSKG)構築のための新しいフレームワークであるCTINexusを提案する。
  論文  参考訳（メタデータ） (2024-10-28T14:18:32Z)
• Hacking, The Lazy Way: LLM Augmented Pentesting [0.0]
  我々は、"Pentest Copilot"というツールを使って、"LLM Augmented Pentesting"という新しい概念を紹介した。 提案手法は, LLMを用いて特定のサブタスクを自動化することにより, 浸透試験における自動化に対する従来の抵抗を克服することに焦点を当てる。 Pentest Copilotは、テストツールの利用、アウトプットの解釈、フォローアップアクションの提案など、タスクの卓越した熟練度を示す。
  論文  参考訳（メタデータ） (2024-09-14T17:40:35Z)
• PenHeal: A Two-Stage LLM Framework for Automated Pentesting and Optimal Remediation [18.432274815853116]
  PenHealは2段階のLSMベースのフレームワークで、自律的に脆弱性を特定してセキュリティを確保する。 本稿では,LLMベースの2段階フレームワークであるPenHealについて紹介する。
  論文  参考訳（メタデータ） (2024-07-25T05:42:14Z)
• Generative AI in Cybersecurity: A Comprehensive Review of LLM Applications and Vulnerabilities [1.0974825157329373]
  本稿では,ジェネレーティブAIとLarge Language Models(LLMs)によるサイバーセキュリティの将来を概観する。 ハードウェア設計のセキュリティ、侵入検知、ソフトウェアエンジニアリング、設計検証、サイバー脅威インテリジェンス、マルウェア検出、フィッシング検出など、さまざまな領域にわたるLCMアプリケーションを探索する。 GPT-4, GPT-3.5, Mixtral-8x7B, BERT, Falcon2, LLaMA などのモデルの発展に焦点を当て, LLM の進化とその現状について概説する。
  論文  参考訳（メタデータ） (2024-05-21T13:02:27Z)
• Towards Automated Classification of Attackers' TTPs by combining NLP with ML Techniques [77.34726150561087]
  我々は,NLP(Natural Language Processing)と,研究におけるセキュリティ情報抽出に使用される機械学習技術の評価と比較を行った。 本研究では,攻撃者の戦術や手法に従って非構造化テキストを自動的に分類するデータ処理パイプラインを提案する。
  論文  参考訳（メタデータ） (2022-07-18T09:59:21Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。