論文の概要: ProveRAG: Provenance-Driven Vulnerability Analysis with Automated Retrieval-Augmented LLMs

• arxiv url: http://arxiv.org/abs/2410.17406v1
• Date: Tue, 22 Oct 2024 20:28:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:54:20.253280
• Title: ProveRAG: Provenance-Driven Vulnerability Analysis with Automated Retrieval-Augmented LLMs
• Title（参考訳）: ProveRAG:Retrieval-Augmented LLMによる確率駆動型脆弱性解析
• Authors: Reza Fayyazi, Stella Hoyos Trueba, Michael Zuzak, Shanchieh Jay Yang,
• Abstract要約: セキュリティアナリストは、新たに発見された脆弱性をリアルタイムで軽減するという課題に直面している。 1999年以降、30,000以上の共通脆弱性と暴露が特定されている。 2024年には25,000以上の脆弱性が特定されている。
• 参考スコア（独自算出の注目度）: 1.7191671053507043
• License:
• Abstract: In cybersecurity, security analysts face the challenge of mitigating newly discovered vulnerabilities in real-time, with over 300,000 Common Vulnerabilities and Exposures (CVEs) identified since 1999. The sheer volume of known vulnerabilities complicates the detection of patterns for unknown threats. While LLMs can assist, they often hallucinate and lack alignment with recent threats. Over 25,000 vulnerabilities have been identified so far in 2024, which are introduced after popular LLMs' (e.g., GPT-4) training data cutoff. This raises a major challenge of leveraging LLMs in cybersecurity, where accuracy and up-to-date information are paramount. In this work, we aim to improve the adaptation of LLMs in vulnerability analysis by mimicking how analysts perform such tasks. We propose ProveRAG, an LLM-powered system designed to assist in rapidly analyzing CVEs with automated retrieval augmentation of web data while self-evaluating its responses with verifiable evidence. ProveRAG incorporates a self-critique mechanism to help alleviate omission and hallucination common in the output of LLMs applied in cybersecurity applications. The system cross-references data from verifiable sources (NVD and CWE), giving analysts confidence in the actionable insights provided. Our results indicate that ProveRAG excels in delivering verifiable evidence to the user with over 99% and 97% accuracy in exploitation and mitigation strategies, respectively. This system outperforms direct prompting and chunking retrieval in vulnerability analysis by overcoming temporal and context-window limitations. ProveRAG guides analysts to secure their systems more effectively while documenting the process for future audits.
• Abstract（参考訳）: サイバーセキュリティにおいて、セキュリティアナリストは、新たに発見された脆弱性をリアルタイムで軽減するという課題に直面している。 既知の脆弱性の量は、未知の脅威に対するパターンの検出を複雑にしている。 LLMは支援できるが、しばしば幻覚を起こし、最近の脅威と一致しない。 2024年には25,000以上の脆弱性が特定されており、この脆弱性はLLM(例: GPT-4)のトレーニングデータ遮断後に導入された。 これは、精度と最新情報が最重要であるサイバーセキュリティにおいてLLMを活用するという大きな課題を提起する。 本研究では,脆弱性解析におけるLCMの適応性の向上を,アナリストがそのようなタスクを実行する方法を模倣することによって実現することを目的とする。 本稿では,Webデータの自動検索によるCVEの迅速解析を支援するとともに,その応答を検証可能な証拠で自己評価するシステムProveRAGを提案する。 ProveRAGは、サイバーセキュリティアプリケーションに適用されるLCMの出力に共通する欠落と幻覚を軽減するための自己批判機構を組み込んでいる。 このシステムは検証可能な情報源(NVDとCWE)からのデータを相互参照し、アナリストが提供した実行可能な洞察に自信を与える。 以上の結果から, ProveRAG は, ユーザに対して, エクスプロイトおよび緩和戦略において, 99% 以上, 97% 以上の精度で検証可能なエビデンスを提供することに優れていたことが示唆された。 本システムは,時間的・文脈的制約を克服し,脆弱性解析における直接的プロンプトとチャンキング検索に優れる。 ProveRAGはアナリストに、将来の監査のプロセスを文書化しながら、より効果的にシステムを保護するよう指導する。

関連論文リスト

• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [63.603861880022954]
  本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。 我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。 Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
  論文  参考訳（メタデータ） (2024-10-24T06:36:12Z)
• LSAST -- Enhancing Cybersecurity through LLM-supported Static Application Security Testing [5.644999288757871]
  大規模言語モデル(LLM)は、強力なコード解析機能を示しているが、静的トレーニングデータとプライバシリスクは、その有効性を制限している。 LSASTは,LSLMをSASTスキャナと統合し,脆弱性検出を強化する手法である。 静的な脆弱性分析のための新しいベンチマークを設定し、堅牢でプライバシを重視したソリューションを提供しました。
  論文  参考訳（メタデータ） (2024-09-24T04:42:43Z)
• PenHeal: A Two-Stage LLM Framework for Automated Pentesting and Optimal Remediation [18.432274815853116]
  PenHealは2段階のLSMベースのフレームワークで、自律的に脆弱性を特定してセキュリティを確保する。 本稿では,LLMベースの2段階フレームワークであるPenHealについて紹介する。
  論文  参考訳（メタデータ） (2024-07-25T05:42:14Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
  本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。 本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。 ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
  論文  参考訳（メタデータ） (2024-06-20T15:12:27Z)
• Large Language Models for Cyber Security: A Systematic Literature Review [14.924782327303765]
  サイバーセキュリティ(LLM4Security)における大規模言語モデルの適用に関する文献の総合的なレビューを行う。 LLMは、脆弱性検出、マルウェア分析、ネットワーク侵入検出、フィッシング検出など、幅広いサイバーセキュリティタスクに応用されている。 第3に、細調整、転送学習、ドメイン固有の事前トレーニングなど、特定のサイバーセキュリティドメインにLLMを適用するための有望なテクニックをいくつか特定する。
  論文  参考訳（メタデータ） (2024-05-08T02:09:17Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
  5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。 全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。 ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-16T13:17:20Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。