論文の概要: Insights and Current Gaps in Open-Source LLM Vulnerability Scanners: A Comparative Analysis

• arxiv url: http://arxiv.org/abs/2410.16527v2
• Date: Wed, 13 Nov 2024 17:30:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 19:25:06.039747
• Title: Insights and Current Gaps in Open-Source LLM Vulnerability Scanners: A Comparative Analysis
• Title（参考訳）: オープンソースのLCM脆弱性スキャナの洞察と現状:比較分析
• Authors: Jonathan Brokman, Omer Hofman, Oren Rachmil, Inderjeet Singh, Rathina Sabapathy Aishvariya Priya, Vikas Pahuja, Amit Giloni, Roman Vainshtein, Hisashi Kojima,
• Abstract要約: 本稿では,対話型大規模言語モデル(LLM)のためのオープンソースの脆弱性スキャナの比較分析を行う。 我々の研究は、脆弱性を公開するために赤いチームのプラクティスを適用する著名なスキャナー、Garak、Giskard、PyRIT、CyberSecEvalを評価した。
• 参考スコア（独自算出の注目度）: 1.5149711185416004
• License:
• Abstract: This report presents a comparative analysis of open-source vulnerability scanners for conversational large language models (LLMs). As LLMs become integral to various applications, they also present potential attack surfaces, exposed to security risks such as information leakage and jailbreak attacks. Our study evaluates prominent scanners - Garak, Giskard, PyRIT, and CyberSecEval - that adapt red-teaming practices to expose these vulnerabilities. We detail the distinctive features and practical use of these scanners, outline unifying principles of their design and perform quantitative evaluations to compare them. These evaluations uncover significant reliability issues in detecting successful attacks, highlighting a fundamental gap for future development. Additionally, we contribute a preliminary labelled dataset, which serves as an initial step to bridge this gap. Based on the above, we provide strategic recommendations to assist organizations choose the most suitable scanner for their red-teaming needs, accounting for customizability, test suite comprehensiveness, and industry-specific use cases.
• Abstract（参考訳）: 本稿では,対話型大規模言語モデル(LLM)のためのオープンソースの脆弱性スキャナの比較分析を行う。 LLMが様々なアプリケーションに不可欠なものになると、情報漏洩やジェイルブレイク攻撃といったセキュリティリスクにさらされる潜在的な攻撃面も提示される。 我々の研究は、これらの脆弱性を公開するために赤いチームのプラクティスを適用する著名なスキャナー(Garak、Giskard、PyRIT、CyberSecEval)を評価する。 これらのスキャナの特徴と実用性について詳述し、それらの設計の統一原理を概説し、比較するための定量的評価を行う。 これらの評価は、攻撃を成功させるための重大な信頼性の問題を明らかにし、将来の開発における根本的なギャップを浮き彫りにしている。 さらに、このギャップを埋める最初のステップとなるラベル付きデータセットも提供します。 以上に基づいて、私たちは組織がレッドチームのニーズに対して最も適したスキャナ、カスタマイズ性の説明、テストスイートの包括性、業界固有のユースケースを選択するのを支援する戦略的勧告を提供します。

関連論文リスト

• LLMs in Software Security: A Survey of Vulnerability Detection Techniques and Insights [12.424610893030353]
  大規模言語モデル(LLM)は、ソフトウェア脆弱性検出のためのトランスフォーメーションツールとして登場している。 本稿では,脆弱性検出におけるLSMの詳細な調査を行う。 言語間の脆弱性検出、マルチモーダルデータ統合、リポジトリレベルの分析といった課題に対処する。
  論文  参考訳（メタデータ） (2025-02-10T21:33:38Z)
• SecCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [47.11178028457252]
  我々はGenAIのリスクをコードする統合的かつ包括的な評価プラットフォームSecCodePLTを開発した。 安全でないコードには、専門家と自動生成を組み合わせたデータ生成のための新しい方法論を導入する。 サイバー攻撃支援のために、我々はモデルに実際の攻撃を引き起こすよう促すサンプルと、我々の環境における動的な指標を構築した。
  論文  参考訳（メタデータ） (2024-10-14T21:17:22Z)
• MIBench: A Comprehensive Benchmark for Model Inversion Attack and Defense [43.71365087852274]
  Model Inversion (MI)攻撃は、ターゲットモデルの出力情報を活用して、プライバシに敏感なトレーニングデータを再構築することを目的としている。 包括的で整合性があり、信頼性の高いベンチマークが欠如していることは、非常に大きな課題である。 この致命的なギャップに対処するため、モデル反転攻撃と防御のための最初の実用的なベンチマーク(textitMIBench)を紹介した。
  論文  参考訳（メタデータ） (2024-10-07T16:13:49Z)
• Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
  本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。 我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-29T10:00:57Z)
• Investigating Coverage Criteria in Large Language Models: An In-Depth Study Through Jailbreak Attacks [10.909463767558023]
  本稿では,ニューラルアクティベーション機能を利用して,ジェイルブレイク攻撃をリアルタイムに検出するための革新的なアプローチを提案する。 提案手法は,LLMを組み込んだ将来のシステムにおいて,堅牢なリアルタイム検出機能を実現することを約束する。
  論文  参考訳（メタデータ） (2024-08-27T17:14:21Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Towards Explainable Vulnerability Detection with Large Language Models [17.96542494363619]
  ソフトウェア脆弱性は、ソフトウェアシステムのセキュリティと整合性に重大なリスクをもたらす。 大規模言語モデル(LLMs)の出現は、その高度な生成能力による変換ポテンシャルを導入している。 本稿では,脆弱性検出と説明という2つのタスクにLLMを専門化する自動フレームワークであるLLMVulExpを提案する。
  論文  参考訳（メタデータ） (2024-06-14T04:01:25Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• A Survey on Detection of LLMs-Generated Content [97.87912800179531]
  LLMの生成する内容を検出する能力が最重要視されている。 既存の検出戦略とベンチマークの詳細な概要を提供する。 また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
  論文  参考訳（メタデータ） (2023-10-24T09:10:26Z)
• Vulnerability Clustering and other Machine Learning Applications of Semantic Vulnerability Embeddings [23.143031911859847]
  自然言語処理(NLP)技術に基づく意味的脆弱性の埋め込みについて検討した。 また、サイバーセキュリティ研究者やアナリストを支援する機械学習アプリケーションの基礎としての利用を評価した。 私たちが調査し、簡単に要約した特定のアプリケーションは、クラスタリング、分類、可視化です。
  論文  参考訳（メタデータ） (2023-08-23T21:39:48Z)
• Detection of Adversarial Supports in Few-shot Classifiers Using Feature Preserving Autoencoders and Self-Similarity [89.26308254637702]
  敵対的なサポートセットを強調するための検出戦略を提案する。 我々は,特徴保存型オートエンコーダフィルタリングと,この検出を行うサポートセットの自己相似性の概念を利用する。 提案手法は攻撃非依存であり, 最善の知識まで, 数発分類器の検出を探索する最初の方法である。
  論文  参考訳（メタデータ） (2020-12-09T14:13:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。