論文の概要: Enhancing Source Code Security with LLMs: Demystifying The Challenges and Generating Reliable Repairs
- arxiv url: http://arxiv.org/abs/2409.00571v1
- Date: Sun, 1 Sep 2024 00:41:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 13:55:44.349991
- Title: Enhancing Source Code Security with LLMs: Demystifying The Challenges and Generating Reliable Repairs
- Title(参考訳): LLMによるソースコードセキュリティの強化 - 課題の最小化と信頼性の高い修復生成
- Authors: Nafis Tanveer Islam, Joseph Khoury, Andrew Seong, Elias Bou-Harb, Peyman Najafirad,
- Abstract要約: textttSecRepair は命令ベースのLarge Language Models (LLMs) システムで、テキスト化、textitdescribe 、および自動 textitrepair 脆弱性のあるソースコードを自動的にテキスト化するように設計されている。
textttSecRepairは、強化学習ベースの微調整とセマンティック報酬を使用して、生成されたコードの機能とセキュリティ面に対処する。
- 参考スコア(独自算出の注目度): 3.2645602916600835
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the recent unprecedented advancements in Artificial Intelligence (AI) computing, progress in Large Language Models (LLMs) is accelerating rapidly, presenting challenges in establishing clear guidelines, particularly in the field of security. That being said, we thoroughly identify and describe three main technical challenges in the security and software engineering literature that spans the entire LLM workflow, namely; \textbf{\textit{(i)}} Data Collection and Labeling; \textbf{\textit{(ii)}} System Design and Learning; and \textbf{\textit{(iii)}} Performance Evaluation. Building upon these challenges, this paper introduces \texttt{SecRepair}, an instruction-based LLM system designed to reliably \textit{identify}, \textit{describe}, and automatically \textit{repair} vulnerable source code. Our system is accompanied by a list of actionable guides on \textbf{\textit{(i)}} Data Preparation and Augmentation Techniques; \textbf{\textit{(ii)}} Selecting and Adapting state-of-the-art LLM Models; \textbf{\textit{(iii)}} Evaluation Procedures. \texttt{SecRepair} uses a reinforcement learning-based fine-tuning with a semantic reward that caters to the functionality and security aspects of the generated code. Our empirical analysis shows that \texttt{SecRepair} achieves a \textit{12}\% improvement in security code repair compared to other LLMs when trained using reinforcement learning. Furthermore, we demonstrate the capabilities of \texttt{SecRepair} in generating reliable, functional, and compilable security code repairs against real-world test cases using automated evaluation metrics.
- Abstract(参考訳): 最近の人工知能(AI)コンピューティングの先例のない進歩により、大規模言語モデル(LLM)の進歩は急速に加速し、特にセキュリティ分野において明確なガイドラインを確立する上での課題が提示されている。
とは言っても、LLMワークフロー全体、すなわち \textbf{\textit{ にまたがるセキュリティとソフトウェアエンジニアリングの文献における3つの主要な技術的課題を、徹底的に特定し、記述します。
(i)}} データコレクションとラベル; \textbf{\textit{
(ii)}} システム設計と学習; そして \textbf{\textit{
(iii) 性能評価。
本稿では,これらの課題を解決すべく,命令ベースの LLM システムである \textt{SecRepair} を紹介した。
私たちのシステムは、 \textbf{\textit{上の実行可能なガイドのリストを伴います。
(i)}} データ準備と拡張技術; \textbf{\textit{
(ii)}} Selecting and Adapting State-of-the-art LLM Models; \textbf{\textit{
(iii) 評価手順
\texttt{SecRepair}は、強化学習に基づく微調整とセマンティックな報酬を使って、生成されたコードの機能とセキュリティの面に対処する。
我々の経験的分析は,強化学習を用いて訓練した他のLLMと比較して,セキュリティコード修復における \textit{12}\% の改善が達成されていることを示している。
さらに,自動評価指標を用いた実世界のテストケースに対する信頼性,機能,コンパイル可能なセキュリティコード修正を生成する上で,‘texttt{SecRepair}’の能力を実証した。
関連論文リスト
- Prompting Techniques for Secure Code Generation: A Systematic Investigation [4.777102838267181]
大規模言語モデル(LLM)は、プロンプト駆動プログラミングによるソフトウェア開発で勢いを増している。
LLMによるNL命令から生成されたコードのセキュリティに異なるプロンプト技術が与える影響について検討する。
論文 参考訳(メタデータ) (2024-07-09T17:38:03Z) - NAVRepair: Node-type Aware C/C++ Code Vulnerability Repair [14.152755184229374]
NAVRepairは、ASTから抽出されたノードタイプ情報とエラータイプを組み合わせた、新しいフレームワークである。
既存のLLMベースのC/C++脆弱性修復法と比較して26%高い精度を実現している。
論文 参考訳(メタデータ) (2024-05-08T11:58:55Z) - DLAP: A Deep Learning Augmented Large Language Model Prompting Framework for Software Vulnerability Detection [12.686480870065827]
本稿では,ディープラーニング(DL)モデルとLLM(Large Language Models)モデルの両方を最大限に組み合わせて,例外的な脆弱性検出性能を実現するフレームワークである textbfDLAP について述べる。
実験の結果、DLAPは、ロールベースのプロンプト、補助情報プロンプト、チェーン・オブ・シントプロンプト、コンテキスト内学習プロンプトなど、最先端のプロンプトフレームワークより優れていることが確認された。
論文 参考訳(メタデータ) (2024-05-02T11:44:52Z) - CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。
我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。
CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
論文 参考訳(メタデータ) (2024-03-12T17:55:38Z) - Enhanced Automated Code Vulnerability Repair using Large Language Models [0.0]
この研究は、コードの脆弱性を自動修復する複雑な課題に対処する。
LLM(Advanced Large Language Models)を使用して、コード修正を表現する新しいフォーマットを導入する。
Cコードの脆弱性を特徴とするデータセットを微調整したLLMは、自動コード修復技術の正確性と適応性を大幅に向上した。
論文 参考訳(メタデータ) (2024-01-08T09:01:29Z) - Generate and Pray: Using SALLMS to Evaluate the Security of LLM Generated Code [0.5137309756089941]
本稿では,セキュアなコードを体系的に生成する大規模言語モデルの能力をベンチマークするフレームワークであるSALLMについて述べる。
フレームワークには3つの主要なコンポーネントがある。セキュリティ中心のPythonプロンプトの新たなデータセット、生成されたコードを評価するための評価テクニック、セキュアなコード生成の観点からモデルのパフォーマンスを評価するための新しいメトリクスである。
論文 参考訳(メタデータ) (2023-11-01T22:46:31Z) - SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。
次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
論文 参考訳(メタデータ) (2023-10-13T07:18:53Z) - FacTool: Factuality Detection in Generative AI -- A Tool Augmented
Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。
大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
論文 参考訳(メタデータ) (2023-07-25T14:20:51Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳(メタデータ) (2023-06-06T03:37:41Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - StructGPT: A General Framework for Large Language Model to Reason over
Structured Data [117.13986738340027]
我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。
提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-05-16T17:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。