論文の概要: Systematically Finding Security Vulnerabilities in Black-Box Code
Generation Models
- arxiv url: http://arxiv.org/abs/2302.04012v1
- Date: Wed, 8 Feb 2023 11:54:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 16:39:33.499620
- Title: Systematically Finding Security Vulnerabilities in Black-Box Code
Generation Models
- Title(参考訳): ブラックボックスコード生成モデルにおけるセキュリティ脆弱性の体系的発見
- Authors: Hossein Hajipour, Thorsten Holz, Lea Sch\"onherr, Mario Fritz
- Abstract要約: コード生成のための大規模な言語モデルは、いくつかのプログラミング言語タスクにおいてブレークスルーを達成した。
ブラックボックスコード生成モデルにおいて,セキュリティ脆弱性を自動的に検出するための最初のアプローチを提案する。
このアプローチは,様々なコード生成モデルにおいて,1000のセキュリティ脆弱性を自動的にかつ体系的に検出することを示す。
- 参考スコア(独自算出の注目度): 69.3953856288386
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, large language models for code generation have achieved
breakthroughs in several programming language tasks. Their advances in
competition-level programming problems have made them an emerging pillar in
AI-assisted pair programming. Tools such as GitHub Copilot are already part of
the daily programming workflow and are used by more than a million developers.
The training data for these models is usually collected from open-source
repositories (e.g., GitHub) that contain software faults and security
vulnerabilities. This unsanitized training data can lead language models to
learn these vulnerabilities and propagate them in the code generation
procedure. Given the wide use of these models in the daily workflow of
developers, it is crucial to study the security aspects of these models
systematically.
In this work, we propose the first approach to automatically finding security
vulnerabilities in black-box code generation models. To achieve this, we
propose a novel black-box inversion approach based on few-shot prompting. We
evaluate the effectiveness of our approach by examining code generation models
in the generation of high-risk security weaknesses. We show that our approach
automatically and systematically finds 1000s of security vulnerabilities in
various code generation models, including the commercial black-box model GitHub
Copilot.
- Abstract(参考訳): 近年、コード生成のための大規模言語モデルは、いくつかのプログラミング言語タスクにおいてブレークスルーを達成している。
競争レベルのプログラミング問題における彼らの進歩は、AI支援ペアプログラミングにおける新たな柱となっている。
GitHub Copilotのようなツールは、すでにデイリープログラミングワークフローの一部であり、100万人以上の開発者が使用している。
これらのモデルのトレーニングデータは通常、ソフトウェア障害とセキュリティ脆弱性を含むオープンソースリポジトリ(githubなど)から収集される。
この不衛生なトレーニングデータによって、言語モデルがこれらの脆弱性を学習し、コード生成手順に伝播する可能性がある。
開発者の日々のワークフローでこれらのモデルが広く使われていることを考えると、これらのモデルのセキュリティ面を体系的に研究することが重要です。
本研究では,ブラックボックスコード生成モデルにおいて,セキュリティ脆弱性を自動的に発見する手法を提案する。
これを実現するために,少数ショットプロンプトに基づく新しいブラックボックス・インバージョン手法を提案する。
リスクの高いセキュリティ脆弱性の生成におけるコード生成モデルを検討することにより,提案手法の有効性を評価する。
このアプローチは,商用のブラックボックスモデルであるGitHub Copilotなど,さまざまなコード生成モデルにおいて,1000のセキュリティ脆弱性を自動的にかつ体系的に検出する。
関連論文リスト
- Exploring Safety Generalization Challenges of Large Language Models via Code [126.80573601180411]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。
調査によると、CodeAttackは全モデルの80%以上の安全ガードレールを一貫してバイパスしている。
CodeAttackと自然言語の間の大きな分散ギャップは、安全性の一般化を弱める。
論文 参考訳(メタデータ) (2024-03-12T17:55:38Z) - Can LLMs Patch Security Issues? [0.26107298043931204]
LLM(Large Language Models)は、コード生成に優れた習熟度を示している。
LLMはセキュリティ上の脆弱性や欠陥を含むコードを生成する。
そこで本稿では,Bandit からのフィードバックを受信するための LLM の利用について検討する。
論文 参考訳(メタデータ) (2023-11-13T08:54:37Z) - Generate and Pray: Using SALLMS to Evaluate the Security of LLM
Generated Code [0.7451457983372032]
大規模言語モデルによって生成されたコードが正しいだけでなく、脆弱性もないことを保証することが重要です。
LLM(Large Language Models)を評価するために使われる既存のデータセットは、セキュリティに敏感な真のソフトウェアエンジニアリングタスクを適切に表現していない。
生成されたコードのセキュリティを評価することに焦点を当てたベンチマークが明らかに欠落している。
論文 参考訳(メタデータ) (2023-11-01T22:46:31Z) - Enhancing Large Language Models for Secure Code Generation: A
Dataset-driven Study on Vulnerability Mitigation [24.668682498171776]
大規模言語モデル(LLM)はコード生成に大きな進歩をもたらし、初心者と経験豊富な開発者の両方に恩恵を与えている。
しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を不注意に伝播するリスクをもたらす。
本稿では,ソフトウェアセキュリティの観点からのLLMの評価と拡張に焦点をあてた総合的研究について述べる。
論文 参考訳(メタデータ) (2023-10-25T00:32:56Z) - SecurityNet: Assessing Machine Learning Vulnerabilities on Public Models [74.58014281829946]
本研究では, モデル盗難攻撃, メンバーシップ推論攻撃, パブリックモデルにおけるバックドア検出など, いくつかの代表的な攻撃・防御の有効性を解析する。
実験により,これらの攻撃・防御性能は,自己学習モデルと比較して,公共モデルによって大きく異なることが示された。
論文 参考訳(メタデータ) (2023-10-19T11:49:22Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - Software Vulnerability Prediction Knowledge Transferring Between
Programming Languages [2.3035725779568583]
本稿では、利用可能なデータセットを活用するトランスファー学習手法を提案し、異なるプログラミング言語の共通脆弱性を検出するモデルを生成する。
我々は、Cのソースコードサンプルを使用して、畳み込みニューラルネットワーク(CNN)モデルをトレーニングし、Javaのソースコードサンプルを使用して学習モデルを採用し、評価する。
その結果,提案モデルでは,CコードとJavaコードの両方の脆弱性を平均72%のリコールで検出できることがわかった。
論文 参考訳(メタデータ) (2023-03-10T19:21:52Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳(メタデータ) (2021-05-20T17:58:42Z) - Multi-context Attention Fusion Neural Network for Software Vulnerability
Identification [4.05739885420409]
ソースコードのセキュリティ脆弱性の共通カテゴリのいくつかを効率的に検出することを学ぶディープラーニングモデルを提案する。
モデルは、学習可能なパラメータの少ないコードセマンティクスの正確な理解を構築します。
提案したAIは、ベンチマークされたNIST SARDデータセットから特定のCWEに対して98.40%のF1スコアを達成する。
論文 参考訳(メタデータ) (2021-04-19T11:50:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。