論文の概要: Investigating Large Language Models for Code Vulnerability Detection: An Experimental Study
- arxiv url: http://arxiv.org/abs/2412.18260v1
- Date: Tue, 24 Dec 2024 08:20:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-25 15:55:33.821557
- Title: Investigating Large Language Models for Code Vulnerability Detection: An Experimental Study
- Title（参考訳）: コード脆弱性検出のための大規模言語モデルの検討:実験的検討
- Authors: Xuefeng Jiang, Lvhua Wu, Sheng Sun, Jia Li, Jingjing Xue, Yuwei Wang, Tingting Wu, Min Liu,
- Abstract要約: システムのセキュリティ問題に対処し、予防するためには、コードの脆弱性検出が不可欠である。
従来の学習ベースの脆弱性検出方法は、微調整された中規模シーケンスモデルか、スクラッチから小さなニューラルネットワークをトレーニングするどちらかに依存していた。
大規模事前学習言語モデル(LLM)の最近の進歩は、様々なコードインテリジェンスタスクにおいて顕著な機能を示した。
- 参考スコア（独自算出の注目度）: 20.06503053066937
- License:
- Abstract: Code vulnerability detection (CVD) is essential for addressing and preventing system security issues, playing a crucial role in ensuring software security. Previous learning-based vulnerability detection methods rely on either fine-tuning medium-size sequence models or training smaller neural networks from scratch. Recent advancements in large pre-trained language models (LLMs) have showcased remarkable capabilities in various code intelligence tasks including code understanding and generation. However, the effectiveness of LLMs in detecting code vulnerabilities is largely under-explored. This work aims to investigate the gap by fine-tuning LLMs for the CVD task, involving four widely-used open-source LLMs. We also implement other five previous graph-based or medium-size sequence models for comparison. Experiments are conducted on five commonly-used CVD datasets, including both the part of short samples and long samples. In addition, we conduct quantitative experiments to investigate the class imbalance issue and the model's performance on samples of different lengths, which are rarely studied in previous works. To better facilitate communities, we open-source all codes and resources of this study in https://github.com/SakiRinn/LLM4CVD and https://huggingface.co/datasets/xuefen/VulResource.
- Abstract（参考訳）: コードの脆弱性検出(CVD)は、システムのセキュリティ問題に対処し、予防するために不可欠であり、ソフトウェアセキュリティの確保において重要な役割を果たす。
従来の学習ベースの脆弱性検出方法は、微調整された中規模シーケンスモデルか、スクラッチから小さなニューラルネットワークをトレーニングするどちらかに依存していた。
大規模事前学習言語モデル(LLM)の最近の進歩は、コード理解や生成を含む様々なコードインテリジェンスタスクにおいて顕著な機能を示した。
しかし、コード脆弱性の検出におけるLLMの有効性はほとんど調査されていない。
本研究の目的は,CVDタスクの微調整によるギャップの解明である。
また、他の5つのグラフベースまたは中規模シーケンスモデルを比較のために実装する。
実験は、5つの一般的なCVDデータセットで行われ、短いサンプルの一部と長いサンプルの両方を含む。
さらに,従来の研究ではほとんど研究されていない異なる長さのサンプルに対して,クラス不均衡問題とモデルの性能について定量的に検討する。
コミュニティをより促進するために、この研究のすべてのコードとリソースをhttps://github.com/SakiRinn/LLM4CVDとhttps://huggingface.co/datasets/xuefen/VulResourceでオープンソース化しました。
関連論文リスト
- SnipGen: A Mining Repository Framework for Evaluating LLMs for Code [51.07471575337676]
言語モデル(LLM)は、コードリポジトリを含む広範なデータセットに基づいてトレーニングされる。
それらの有効性を評価することは、トレーニングに使用されるデータセットと評価に使用されるデータセットとが重複する可能性があるため、大きな課題となる。
SnipGenは、コード生成のために、様々な下流タスクをまたいだ迅速なエンジニアリングを活用するように設計された包括的なリポジトリマイニングフレームワークである。
論文 参考訳（メタデータ） (2025-02-10T21:28:15Z) - Breaking Focus: Contextual Distraction Curse in Large Language Models [68.4534308805202]
大規模言語モデル(LLM)の重大な脆弱性について検討する。
この現象は、セマンティック・コヒーレントだが無関係な文脈で修正された質問に対して、モデルが一貫した性能を維持することができないときに発生する。
本稿では,CDVの例を自動生成する効率的な木探索手法を提案する。
論文 参考訳（メタデータ） (2025-02-03T18:43:36Z) - Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。
我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
論文 参考訳（メタデータ） (2024-08-29T10:00:57Z) - SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。
英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文 参考訳（メタデータ） (2024-08-28T06:33:03Z) - Automated Code-centric Software Vulnerability Assessment: How Far Are We? An Empirical Study in C/C++ [0.716879432974126]
C/C++における関数レベルのSV評価のための機械学習(ML)モデルとディープラーニング(DL)モデルの性能を調査・比較するための最初の実証的研究を行った。
MLは,関数レベルのSV評価のための多クラスDLモデルと比較して,トレーニング時間を大幅に短縮して,マッチングや性能が向上していることを示す。
論文 参考訳（メタデータ） (2024-07-24T07:26:58Z) - Security Vulnerability Detection with Multitask Self-Instructed Fine-Tuning of Large Language Models [8.167614500821223]
脆弱性検出のためのMSIVD, マルチタスクによる自己指示型微調整を, チェーン・オブ・シント・プロンプトとLDMによる自己指示にインスパイアした。
実験の結果,MSIVDは高い性能を示し,LineVul(LLMベースの脆弱性検出ベースライン)はBigVulデータセットでは0.92点,PreciseBugsデータセットでは0.48点であった。
論文 参考訳（メタデータ） (2024-06-09T19:18:05Z) - An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。
本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。
ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
論文 参考訳（メタデータ） (2024-03-30T08:42:10Z) - To Err is Machine: Vulnerability Detection Challenges LLM Reasoning [8.602355712876815]
脆弱性検出という,困難なコード推論タスクを提示する。
最新のSOTA(State-of-the-art)モデルでは,脆弱性検出評価では54.5%のバランスド精度しか報告されていない。
脆弱性検出を克服するためには、新しいモデル、新しいトレーニング方法、あるいはもっと実行固有の事前トレーニングデータが必要になるかもしれない。
論文 参考訳（メタデータ） (2024-03-25T21:47:36Z) - CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。
学習方法は,「フリーランチ」仮説の主張を考察する。
データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2023-05-03T17:55:25Z) - Few-shot Weakly-Supervised Object Detection via Directional Statistics [55.97230224399744]
少数ショットコモンオブジェクトローカライゼーション(COL)と少数ショット弱監視オブジェクト検出(WSOD)のための確率論的多重インスタンス学習手法を提案する。
本モデルでは,新しいオブジェクトの分布を同時に学習し,期待-最大化ステップにより局所化する。
提案手法は, 単純であるにもかかわらず, 少数のCOLとWSOD, 大規模WSODタスクにおいて, 高いベースラインを達成できることを示す。
論文 参考訳（メタデータ） (2021-03-25T22:34:16Z) - Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。
マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。
このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
論文 参考訳（メタデータ） (2020-01-06T13:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。