論文の概要: Insights and Current Gaps in Open-Source LLM Vulnerability Scanners: A Comparative Analysis

• arxiv url: http://arxiv.org/abs/2410.16527v2
• Date: Wed, 13 Nov 2024 17:30:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:38.781123
• Title: Insights and Current Gaps in Open-Source LLM Vulnerability Scanners: A Comparative Analysis
• Title（参考訳）: オープンソースのLCM脆弱性スキャナの洞察と現状:比較分析
• Authors: Jonathan Brokman, Omer Hofman, Oren Rachmil, Inderjeet Singh, Rathina Sabapathy Aishvariya Priya, Vikas Pahuja, Amit Giloni, Roman Vainshtein, Hisashi Kojima,
• Abstract要約: 本稿では,対話型大規模言語モデル(LLM)のためのオープンソースの脆弱性スキャナの比較分析を行う。 我々の研究は、脆弱性を公開するために赤いチームのプラクティスを適用する著名なスキャナー、Garak、Giskard、PyRIT、CyberSecEvalを評価した。
• 参考スコア（独自算出の注目度）: 1.5149711185416004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report presents a comparative analysis of open-source vulnerability scanners for conversational large language models (LLMs). As LLMs become integral to various applications, they also present potential attack surfaces, exposed to security risks such as information leakage and jailbreak attacks. Our study evaluates prominent scanners - Garak, Giskard, PyRIT, and CyberSecEval - that adapt red-teaming practices to expose these vulnerabilities. We detail the distinctive features and practical use of these scanners, outline unifying principles of their design and perform quantitative evaluations to compare them. These evaluations uncover significant reliability issues in detecting successful attacks, highlighting a fundamental gap for future development. Additionally, we contribute a preliminary labelled dataset, which serves as an initial step to bridge this gap. Based on the above, we provide strategic recommendations to assist organizations choose the most suitable scanner for their red-teaming needs, accounting for customizability, test suite comprehensiveness, and industry-specific use cases.
• Abstract（参考訳）: 本稿では,対話型大規模言語モデル(LLM)のためのオープンソースの脆弱性スキャナの比較分析を行う。 LLMが様々なアプリケーションに不可欠なものになると、情報漏洩やジェイルブレイク攻撃といったセキュリティリスクにさらされる潜在的な攻撃面も提示される。 我々の研究は、これらの脆弱性を公開するために赤いチームのプラクティスを適用する著名なスキャナー(Garak、Giskard、PyRIT、CyberSecEval)を評価する。 これらのスキャナの特徴と実用性について詳述し、それらの設計の統一原理を概説し、比較するための定量的評価を行う。 これらの評価は、攻撃を成功させるための重大な信頼性の問題を明らかにし、将来の開発における根本的なギャップを浮き彫りにしている。 さらに、このギャップを埋める最初のステップとなるラベル付きデータセットも提供します。 以上に基づいて、私たちは組織がレッドチームのニーズに対して最も適したスキャナ、カスタマイズ性の説明、テストスイートの包括性、業界固有のユースケースを選択するのを支援する戦略的勧告を提供します。

関連論文リスト

• LLM-Safety Evaluations Lack Robustness [58.334290876531036]
  我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。 本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-03-04T12:55:07Z)
• Adversarial Training for Defense Against Label Poisoning Attacks [53.893792844055106]
  ラベル中毒攻撃は機械学習モデルに重大なリスクをもたらす。 本稿では,これらの脅威に対処するために,サポートベクトルマシン(SVM)に基づく新たな対角的防御戦略を提案する。 提案手法は, 様々なモデルアーキテクチャに対応し, カーネルSVMを用いた予測勾配降下アルゴリズムを用いて, 対向学習を行う。
  論文  参考訳（メタデータ） (2025-02-24T13:03:19Z)
• LLMs in Software Security: A Survey of Vulnerability Detection Techniques and Insights [12.424610893030353]
  大規模言語モデル(LLM)は、ソフトウェア脆弱性検出のためのトランスフォーメーションツールとして登場している。 本稿では,脆弱性検出におけるLSMの詳細な調査を行う。 言語間の脆弱性検出、マルチモーダルデータ統合、リポジトリレベルの分析といった課題に対処する。
  論文  参考訳（メタデータ） (2025-02-10T21:33:38Z)
• Boosting Cybersecurity Vulnerability Scanning based on LLM-supported Static Application Security Testing [5.644999288757871]
  大規模言語モデル(LLM)は、強力なコード解析機能を示しているが、静的トレーニングデータとプライバシリスクは、その有効性を制限している。 LSASTは,LSLMをSASTスキャナと統合し,脆弱性検出を強化する手法である。 静的な脆弱性分析のための新しいベンチマークを設定し、堅牢でプライバシを重視したソリューションを提供しました。
  論文  参考訳（メタデータ） (2024-09-24T04:42:43Z)
• Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
  本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。 我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-29T10:00:57Z)
• Investigating Coverage Criteria in Large Language Models: An In-Depth Study Through Jailbreak Attacks [10.909463767558023]
  本稿では,ニューラルアクティベーション機能を利用して,ジェイルブレイク攻撃をリアルタイムに検出するための革新的なアプローチを提案する。 提案手法は,LLMを組み込んだ将来のシステムにおいて,堅牢なリアルタイム検出機能を実現することを約束する。
  論文  参考訳（メタデータ） (2024-08-27T17:14:21Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Towards Explainable Vulnerability Detection with Large Language Models [17.96542494363619]
  ソフトウェア脆弱性は、ソフトウェアシステムのセキュリティと整合性に重大なリスクをもたらす。 大規模言語モデル(LLMs)の出現は、その高度な生成能力による変換ポテンシャルを導入している。 本稿では,脆弱性検出と説明という2つのタスクにLLMを専門化する自動フレームワークであるLLMVulExpを提案する。
  論文  参考訳（メタデータ） (2024-06-14T04:01:25Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• How Far Have We Gone in Vulnerability Detection Using Large Language Models [15.09461331135668]
  包括的な脆弱性ベンチマークであるVulBenchを紹介します。 このベンチマークは、幅広いCTF課題と実世界のアプリケーションから高品質なデータを集約する。 いくつかのLSMは、脆弱性検出における従来のディープラーニングアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-21T08:20:39Z)
• A Survey on Detection of LLMs-Generated Content [97.87912800179531]
  LLMの生成する内容を検出する能力が最重要視されている。 既存の検出戦略とベンチマークの詳細な概要を提供する。 また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
  論文  参考訳（メタデータ） (2023-10-24T09:10:26Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• Robust Recommender System: A Survey and Future Directions [58.87305602959857]
  まず,悪質な攻撃や自然騒音に耐える現在の手法を整理するための分類法を提案する。 次に、不正検出、敵の訓練、悪意のある攻撃から守るための確実な堅牢な訓練など、各カテゴリにおける最先端の手法を検討する。 さまざまなレコメンデーションシナリオの堅牢性や,正確性や解釈可能性,プライバシ,公正性といった他の特性との相互作用について論じる。
  論文  参考訳（メタデータ） (2023-09-05T08:58:46Z)
• Vulnerability Clustering and other Machine Learning Applications of Semantic Vulnerability Embeddings [23.143031911859847]
  自然言語処理(NLP)技術に基づく意味的脆弱性の埋め込みについて検討した。 また、サイバーセキュリティ研究者やアナリストを支援する機械学習アプリケーションの基礎としての利用を評価した。 私たちが調査し、簡単に要約した特定のアプリケーションは、クラスタリング、分類、可視化です。
  論文  参考訳（メタデータ） (2023-08-23T21:39:48Z)
• Detection of Adversarial Supports in Few-shot Classifiers Using Feature Preserving Autoencoders and Self-Similarity [89.26308254637702]
  敵対的なサポートセットを強調するための検出戦略を提案する。 我々は,特徴保存型オートエンコーダフィルタリングと,この検出を行うサポートセットの自己相似性の概念を利用する。 提案手法は攻撃非依存であり, 最善の知識まで, 数発分類器の検出を探索する最初の方法である。
  論文  参考訳（メタデータ） (2020-12-09T14:13:41Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。