論文の概要: Systematically Finding Security Vulnerabilities in Black-Box Code Generation Models

• arxiv url: http://arxiv.org/abs/2302.04012v1
• Date: Wed, 8 Feb 2023 11:54:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 16:39:33.499620
• Title: Systematically Finding Security Vulnerabilities in Black-Box Code Generation Models
• Title（参考訳）: ブラックボックスコード生成モデルにおけるセキュリティ脆弱性の体系的発見
• Authors: Hossein Hajipour, Thorsten Holz, Lea Sch\"onherr, Mario Fritz
• Abstract要約: コード生成のための大規模な言語モデルは、いくつかのプログラミング言語タスクにおいてブレークスルーを達成した。 ブラックボックスコード生成モデルにおいて,セキュリティ脆弱性を自動的に検出するための最初のアプローチを提案する。 このアプローチは,様々なコード生成モデルにおいて,1000のセキュリティ脆弱性を自動的にかつ体系的に検出することを示す。
• 参考スコア（独自算出の注目度）: 69.3953856288386
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, large language models for code generation have achieved breakthroughs in several programming language tasks. Their advances in competition-level programming problems have made them an emerging pillar in AI-assisted pair programming. Tools such as GitHub Copilot are already part of the daily programming workflow and are used by more than a million developers. The training data for these models is usually collected from open-source repositories (e.g., GitHub) that contain software faults and security vulnerabilities. This unsanitized training data can lead language models to learn these vulnerabilities and propagate them in the code generation procedure. Given the wide use of these models in the daily workflow of developers, it is crucial to study the security aspects of these models systematically. In this work, we propose the first approach to automatically finding security vulnerabilities in black-box code generation models. To achieve this, we propose a novel black-box inversion approach based on few-shot prompting. We evaluate the effectiveness of our approach by examining code generation models in the generation of high-risk security weaknesses. We show that our approach automatically and systematically finds 1000s of security vulnerabilities in various code generation models, including the commercial black-box model GitHub Copilot.
• Abstract（参考訳）: 近年、コード生成のための大規模言語モデルは、いくつかのプログラミング言語タスクにおいてブレークスルーを達成している。 競争レベルのプログラミング問題における彼らの進歩は、AI支援ペアプログラミングにおける新たな柱となっている。 GitHub Copilotのようなツールは、すでにデイリープログラミングワークフローの一部であり、100万人以上の開発者が使用している。 これらのモデルのトレーニングデータは通常、ソフトウェア障害とセキュリティ脆弱性を含むオープンソースリポジトリ(githubなど)から収集される。 この不衛生なトレーニングデータによって、言語モデルがこれらの脆弱性を学習し、コード生成手順に伝播する可能性がある。 開発者の日々のワークフローでこれらのモデルが広く使われていることを考えると、これらのモデルのセキュリティ面を体系的に研究することが重要です。 本研究では,ブラックボックスコード生成モデルにおいて,セキュリティ脆弱性を自動的に発見する手法を提案する。 これを実現するために,少数ショットプロンプトに基づく新しいブラックボックス・インバージョン手法を提案する。 リスクの高いセキュリティ脆弱性の生成におけるコード生成モデルを検討することにより,提案手法の有効性を評価する。 このアプローチは,商用のブラックボックスモデルであるGitHub Copilotなど,さまざまなコード生成モデルにおいて,1000のセキュリティ脆弱性を自動的にかつ体系的に検出する。

関連論文リスト

• Security of Language Models for Code: A Systematic Literature Review [22.046891149121812]
  CodeLM(Code Language Model for Code)は、コード関連のタスクのための強力なツールとして登場した言語モデルである。 CodeLMはセキュリティ上の脆弱性の影響を受けやすく、ソフトウェア工学、人工知能、サイバーセキュリティといった分野から研究の注目を集めている。
  論文  参考訳（メタデータ） (2024-10-21T04:27:41Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• An Exploratory Study on Fine-Tuning Large Language Models for Secure Code Generation [17.69409515806874]
  脆弱性修正コミットのデータセット上での微調整済みのLLMがセキュアなコード生成を促進するかどうかを探索研究する。 オープンソースのリポジトリから、確認済みの脆弱性のコード修正を収集することで、セキュアなコード生成のための微調整データセットをクロールしました。 我々の調査によると、微調整のLLMは、C言語で6.4%、C++言語で5.4%、セキュアなコード生成を改善することができる。
  論文  参考訳（メタデータ） (2024-08-17T02:51:27Z)
• Is Your AI-Generated Code Really Safe? Evaluating Large Language Models on Secure Code Generation with CodeSecEval [20.959848710829878]
  大規模言語モデル(LLM)は、コード生成とコード修復に大きな進歩をもたらした。 しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を必然的に伝播するリスクを増大させる。 我々は,コードLLMのセキュリティ面を正確に評価し,拡張することを目的とした総合的研究を提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:13:21Z)
• M2CVD: Enhancing Vulnerability Semantic through Multi-Model Collaboration for Code Vulnerability Detection [52.4455893010468]
  大規模言語モデル(LLM)は、コード理解において強力な能力を持つが、微調整コストとセマンティックアライメントの問題により、プロジェクト固有の最適化が制限される。 CodeBERTのようなコードモデルは微調整が容易であるが、複雑なコード言語から脆弱性のセマンティクスを学ぶことはしばしば困難である。 本稿では,M2CVD(Multi-Model Collaborative Vulnerability Detection)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T00:05:49Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• SALLM: Security Assessment of Generated Code [0.5137309756089941]
  本稿では,セキュアなコードを体系的に生成する大規模言語モデルの能力をベンチマークするフレームワークであるSALLMについて述べる。 フレームワークには3つの主要なコンポーネントがある。セキュリティ中心のPythonプロンプトの新たなデータセット、生成されたコードを評価するための評価テクニック、セキュアなコード生成の観点からモデルのパフォーマンスを評価するための新しいメトリクスである。
  論文  参考訳（メタデータ） (2023-11-01T22:46:31Z)
• Enhancing Large Language Models for Secure Code Generation: A Dataset-driven Study on Vulnerability Mitigation [24.668682498171776]
  大規模言語モデル(LLM)はコード生成に大きな進歩をもたらし、初心者と経験豊富な開発者の両方に恩恵を与えている。 しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を不注意に伝播するリスクをもたらす。 本稿では,ソフトウェアセキュリティの観点からのLLMの評価と拡張に焦点をあてた総合的研究について述べる。
  論文  参考訳（メタデータ） (2023-10-25T00:32:56Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。