論文の概要: Evaluating and Improving the Robustness of Security Attack Detectors Generated by LLMs

• arxiv url: http://arxiv.org/abs/2411.18216v1
• Date: Wed, 27 Nov 2024 10:48:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:28:48.780432
• Title: Evaluating and Improving the Robustness of Security Attack Detectors Generated by LLMs
• Title（参考訳）: LLMによるセキュリティ攻撃検知器のロバスト性評価と改善
• Authors: Samuele Pasini, Jinhan Kim, Tommaso Aiello, Rocio Cabrera Lozoya, Antonino Sabetta, Paolo Tonella,
• Abstract要約: 大規模言語モデル(LLM)は、セキュリティ要件を実装するアタック検出器などの関数を生成するために、ソフトウェア開発でますます使われている。 これは、LLMが既存の攻撃に関する知識を欠いていることと、生成されたコードが実際の使用シナリオで評価されていないことによる可能性が高い。 本稿では,LLMパイプラインにRAG(Retrieval Augmented Generation)とSelf-Rankingを統合した新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 6.936401700600395
• License:
• Abstract: Large Language Models (LLMs) are increasingly used in software development to generate functions, such as attack detectors, that implement security requirements. However, LLMs struggle to generate accurate code, resulting, e.g., in attack detectors that miss well-known attacks when used in practice. This is most likely due to the LLM lacking knowledge about some existing attacks and to the generated code being not evaluated in real usage scenarios. We propose a novel approach integrating Retrieval Augmented Generation (RAG) and Self-Ranking into the LLM pipeline. RAG enhances the robustness of the output by incorporating external knowledge sources, while the Self-Ranking technique, inspired to the concept of Self-Consistency, generates multiple reasoning paths and creates ranks to select the most robust detector. Our extensive empirical study targets code generated by LLMs to detect two prevalent injection attacks in web security: Cross-Site Scripting (XSS) and SQL injection (SQLi). Results show a significant improvement in detection performance compared to baselines, with an increase of up to 71%pt and 37%pt in the F2-Score for XSS and SQLi detection, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、セキュリティ要件を実装するアタック検出器などの関数を生成するために、ソフトウェア開発でますます使われている。 しかし、LSMは正確なコードを生成するのに苦労し、例えば、実際に使われたときによく知られた攻撃を見逃す攻撃検知器においてである。 これは、LLMが既存の攻撃に関する知識を欠いていることと、生成されたコードが実際の使用シナリオで評価されていないことによる可能性が高い。 本稿では,LLMパイプラインにRAG(Retrieval Augmented Generation)とSelf-Rankingを統合した新しいアプローチを提案する。 RAGは外部知識源を取り入れて出力の堅牢性を高める一方、自己整合性の概念にインスパイアされたセルフランキング技術は複数の推論経路を生成し、最も堅牢な検出器を選択するランクを生成する。 LLMが生成したコードを対象に,クロスサイトスクリプティング(XSS)とSQLインジェクション(SQLi)という,Webセキュリティにおける2つの一般的なインジェクション攻撃を検出する。 その結果,ベースラインに比べて検出性能が有意に向上し,XSSとSQLiのF2スコアでは最大71%,37%が上昇した。

関連論文リスト

• Fine-tuned Large Language Models (LLMs): Improved Prompt Injection Attacks Detection [6.269725911814401]
  大きな言語モデル(LLM)は、幅広い言語ベースのタスクに対処する能力が大きく進歩しているため、人気ツールになりつつある。 しかし、LSMのアプリケーションはインジェクション攻撃に対して非常に脆弱であり、致命的な問題を引き起こす。 このプロジェクトでは,インジェクションのインジェクション攻撃に関連するセキュリティ脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-10-28T00:36:21Z)
• Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
  インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。 私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。 実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• LLM Detectors Still Fall Short of Real World: Case of LLM-Generated Short News-Like Posts [7.680851067579922]
  本稿では、中程度に洗練された攻撃者によって生成される短いニュースのような投稿という、情報操作における重要な設定に焦点を当てる。 既存のLCM検出器は、ゼロショットでも目的訓練でも、その環境での実際の使用準備が整っていないことを実証する。 LLMをまたいで汎用化された目的学習型検出器を開発し、見知らぬ攻撃を行うことができるが、新しい人文テキストへの一般化には失敗する。
  論文  参考訳（メタデータ） (2024-09-05T06:55:13Z)
• Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks [12.061098193438022]
  Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。 本稿では,RAGシステムのエンドツーエンドの間接的なプロンプト操作に対する安全性について検討する。
  論文  参考訳（メタデータ） (2024-08-09T12:26:05Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• Security Vulnerability Detection with Multitask Self-Instructed Fine-Tuning of Large Language Models [8.167614500821223]
  脆弱性検出のためのMSIVD, マルチタスクによる自己指示型微調整を, チェーン・オブ・シント・プロンプトとLDMによる自己指示にインスパイアした。 実験の結果,MSIVDは高い性能を示し,LineVul(LLMベースの脆弱性検出ベースライン)はBigVulデータセットでは0.92点,PreciseBugsデータセットでは0.48点であった。
  論文  参考訳（メタデータ） (2024-06-09T19:18:05Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。