論文の概要: Enhancing Source Code Security with LLMs: Demystifying The Challenges and Generating Reliable Repairs
- arxiv url: http://arxiv.org/abs/2409.00571v1
- Date: Sun, 1 Sep 2024 00:41:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 13:55:44.349991
- Title: Enhancing Source Code Security with LLMs: Demystifying The Challenges and Generating Reliable Repairs
- Title（参考訳）: LLMによるソースコードセキュリティの強化 - 課題の最小化と信頼性の高い修復生成
- Authors: Nafis Tanveer Islam, Joseph Khoury, Andrew Seong, Elias Bou-Harb, Peyman Najafirad,
- Abstract要約: textttSecRepair は命令ベースのLarge Language Models (LLMs) システムで、テキスト化、textitdescribe 、および自動 textitrepair 脆弱性のあるソースコードを自動的にテキスト化するように設計されている。
textttSecRepairは、強化学習ベースの微調整とセマンティック報酬を使用して、生成されたコードの機能とセキュリティ面に対処する。
- 参考スコア（独自算出の注目度）: 3.2645602916600835
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the recent unprecedented advancements in Artificial Intelligence (AI) computing, progress in Large Language Models (LLMs) is accelerating rapidly, presenting challenges in establishing clear guidelines, particularly in the field of security. That being said, we thoroughly identify and describe three main technical challenges in the security and software engineering literature that spans the entire LLM workflow, namely; \textbf{\textit{(i)}} Data Collection and Labeling; \textbf{\textit{(ii)}} System Design and Learning; and \textbf{\textit{(iii)}} Performance Evaluation. Building upon these challenges, this paper introduces \texttt{SecRepair}, an instruction-based LLM system designed to reliably \textit{identify}, \textit{describe}, and automatically \textit{repair} vulnerable source code. Our system is accompanied by a list of actionable guides on \textbf{\textit{(i)}} Data Preparation and Augmentation Techniques; \textbf{\textit{(ii)}} Selecting and Adapting state-of-the-art LLM Models; \textbf{\textit{(iii)}} Evaluation Procedures. \texttt{SecRepair} uses a reinforcement learning-based fine-tuning with a semantic reward that caters to the functionality and security aspects of the generated code. Our empirical analysis shows that \texttt{SecRepair} achieves a \textit{12}\% improvement in security code repair compared to other LLMs when trained using reinforcement learning. Furthermore, we demonstrate the capabilities of \texttt{SecRepair} in generating reliable, functional, and compilable security code repairs against real-world test cases using automated evaluation metrics.
- Abstract（参考訳）: 最近の人工知能(AI)コンピューティングの先例のない進歩により、大規模言語モデル(LLM)の進歩は急速に加速し、特にセキュリティ分野において明確なガイドラインを確立する上での課題が提示されている。
とは言っても、LLMワークフロー全体、すなわち \textbf{\textit{ にまたがるセキュリティとソフトウェアエンジニアリングの文献における3つの主要な技術的課題を、徹底的に特定し、記述します。
(i)}} データコレクションとラベル; \textbf{\textit{
(ii)}} システム設計と学習; そして \textbf{\textit{
(iii) 性能評価。
本稿では,これらの課題を解決すべく,命令ベースの LLM システムである \textt{SecRepair} を紹介した。
私たちのシステムは、 \textbf{\textit{上の実行可能なガイドのリストを伴います。
(i)}} データ準備と拡張技術; \textbf{\textit{
(ii)}} Selecting and Adapting State-of-the-art LLM Models; \textbf{\textit{
(iii) 評価手順
\texttt{SecRepair}は、強化学習に基づく微調整とセマンティックな報酬を使って、生成されたコードの機能とセキュリティの面に対処する。
我々の経験的分析は,強化学習を用いて訓練した他のLLMと比較して,セキュリティコード修復における \textit{12}\% の改善が達成されていることを示している。
さらに,自動評価指標を用いた実世界のテストケースに対する信頼性,機能,コンパイル可能なセキュリティコード修正を生成する上で,‘texttt{SecRepair}’の能力を実証した。
関連論文リスト
- VulnLLMEval: A Framework for Evaluating Large Language Models in Software Vulnerability Detection and Patching [0.9208007322096533]
大きな言語モデル(LLM)は、コード翻訳のようなタスクにおいて有望であることを示している。
本稿では,C コードの脆弱性を特定し,パッチする際の LLM の性能を評価するためのフレームワーク VulnLLMEval を紹介する。
私たちの研究には、Linuxカーネルから抽出された307の現実世界の脆弱性が含まれている。
論文 参考訳（メタデータ） (2024-09-16T22:00:20Z) - HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。
最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。
我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
論文 参考訳（メタデータ） (2024-09-10T12:01:43Z) - Prompting Techniques for Secure Code Generation: A Systematic Investigation [4.777102838267181]
大規模言語モデル(LLM)は、プロンプト駆動プログラミングによるソフトウェア開発で勢いを増している。
LLMによるNL命令から生成されたコードのセキュリティに異なるプロンプト技術が与える影響について検討する。
論文 参考訳（メタデータ） (2024-07-09T17:38:03Z) - Fix the Tests: Augmenting LLMs to Repair Test Cases with Static Collector and Neural Reranker [9.428021853841296]
本稿では, TROCtxsの精密かつ高精度な構築により, 旧来の検査ケースを自動的に修復する新しい手法であるSynTERを提案する。
構築されたTROCtxの増強により、幻覚は57.1%減少する。
論文 参考訳（メタデータ） (2024-07-04T04:24:43Z) - NAVRepair: Node-type Aware C/C++ Code Vulnerability Repair [14.152755184229374]
NAVRepairは、ASTから抽出されたノードタイプ情報とエラータイプを組み合わせた、新しいフレームワークである。
既存のLLMベースのC/C++脆弱性修復法と比較して26%高い精度を実現している。
論文 参考訳（メタデータ） (2024-05-08T11:58:55Z) - DLAP: A Deep Learning Augmented Large Language Model Prompting Framework for Software Vulnerability Detection [12.686480870065827]
本稿では,ディープラーニング(DL)モデルとLLM(Large Language Models)モデルの両方を最大限に組み合わせて,例外的な脆弱性検出性能を実現するフレームワークである textbfDLAP について述べる。
実験の結果、DLAPは、ロールベースのプロンプト、補助情報プロンプト、チェーン・オブ・シントプロンプト、コンテキスト内学習プロンプトなど、最先端のプロンプトフレームワークより優れていることが確認された。
論文 参考訳（メタデータ） (2024-05-02T11:44:52Z) - CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。
我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。
CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
論文 参考訳（メタデータ） (2024-03-12T17:55:38Z) - SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。
次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
論文 参考訳（メタデータ） (2023-10-13T07:18:53Z) - FacTool: Factuality Detection in Generative AI -- A Tool Augmented
Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。
大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
論文 参考訳（メタデータ） (2023-07-25T14:20:51Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳（メタデータ） (2023-06-06T03:37:41Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳（メタデータ） (2023-05-31T10:08:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。