論文の概要: Chain-of-Thought Prompting of Large Language Models for Discovering and Fixing Software Vulnerabilities
- arxiv url: http://arxiv.org/abs/2402.17230v1
- Date: Tue, 27 Feb 2024 05:48:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 06:59:15.620439
- Title: Chain-of-Thought Prompting of Large Language Models for Discovering and Fixing Software Vulnerabilities
- Title(参考訳): ソフトウェア脆弱性の発見と修正のための大規模言語モデルの連鎖プロンプト
- Authors: Yu Nong, Mohammed Aldeen, Long Cheng, Hongxin Hu, Feng Chen, Haipeng Cai,
- Abstract要約: 大規模言語モデル(LLM)は、様々な領域において顕著な可能性を示している。
本稿では,LLMとチェーン・オブ・シント(CoT)を利用して,3つの重要なソフトウェア脆弱性解析タスクに対処する方法について検討する。
ベースラインよりもCoTにインスパイアされたプロンプトのかなりの優位性を示します。
- 参考スコア(独自算出の注目度): 21.787125867708962
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Security vulnerabilities are increasingly prevalent in modern software and they are widely consequential to our society. Various approaches to defending against these vulnerabilities have been proposed, among which those leveraging deep learning (DL) avoid major barriers with other techniques hence attracting more attention in recent years. However, DL-based approaches face critical challenges including the lack of sizable and quality-labeled task-specific datasets and their inability to generalize well to unseen, real-world scenarios. Lately, large language models (LLMs) have demonstrated impressive potential in various domains by overcoming those challenges, especially through chain-of-thought (CoT) prompting. In this paper, we explore how to leverage LLMs and CoT to address three key software vulnerability analysis tasks: identifying a given type of vulnerabilities, discovering vulnerabilities of any type, and patching detected vulnerabilities. We instantiate the general CoT methodology in the context of these tasks through VSP , our unified, vulnerability-semantics-guided prompting approach, and conduct extensive experiments assessing VSP versus five baselines for the three tasks against three LLMs and two datasets. Results show substantial superiority of our CoT-inspired prompting (553.3%, 36.5%, and 30.8% higher F1 accuracy for vulnerability identification, discovery, and patching, respectively, on CVE datasets) over the baselines. Through in-depth case studies analyzing VSP failures, we also reveal current gaps in LLM/CoT for challenging vulnerability cases, while proposing and validating respective improvements.
- Abstract(参考訳): 現代のソフトウェアでは、セキュリティの脆弱性がますます多くなり、私たちの社会に広く当てはまります。
これらの脆弱性に対して防御する様々なアプローチが提案されており、その中にはディープラーニング(DL)を利用する者が他の手法による大きな障壁を回避しているため、近年は注目を集めている。
しかし、DLベースのアプローチは、サイズと品質をラベル付けしたタスク固有のデータセットの欠如や、目に見えない現実世界のシナリオにうまく一般化できないなど、重要な課題に直面している。
近年、大規模言語モデル (LLM) はこれらの課題を克服し、特にチェーン・オブ・思想 (CoT) のプロンプトを通じて、様々な領域において顕著な可能性を実証している。
本稿では, LLMとCoTを利用して, 脆弱性の特定, 脆弱性の発見, 検出された脆弱性のパッチ作成という, 3つの重要なソフトウェア脆弱性解析課題に対処する方法について検討する。
我々は、これらのタスクのコンテキストにおいて、VSPを通じて一般的なCoT方法論をインスタンス化し、VSPを3つのLLMと2つのデータセットに対して5つのベースラインに対して評価する広範囲な実験を行う。
結果は、ベースラインよりもCoTにインスパイアされたプロンプト(553.3%、36.5%、30.8%高いF1精度で脆弱性の識別、発見、パッチング)がかなり優れていることを示している。
VSPの障害を分析した詳細なケーススタディを通じて、脆弱性ケースに対するLLM/CoTの現在のギャップを明らかにし、それぞれの改善を提案し、検証する。
関連論文リスト
- Enhancing Code Vulnerability Detection via Vulnerability-Preserving Data Augmentation [29.72520866016839]
ソースコードの脆弱性検出は、潜在的な攻撃からソフトウェアシステムを保護するための固有の脆弱性を特定することを目的としている。
多くの先行研究は、様々な脆弱性の特徴を見落とし、問題をバイナリ(0-1)分類タスクに単純化した。
FGVulDetは、さまざまな脆弱性タイプの特徴を識別するために複数の分類器を使用し、その出力を組み合わせて特定の脆弱性タイプを特定する。
FGVulDetはGitHubの大規模なデータセットでトレーニングされており、5種類の脆弱性を含んでいる。
論文 参考訳(メタデータ) (2024-04-15T09:10:52Z) - LLbezpeky: Leveraging Large Language Models for Vulnerability Detection [10.330063887545398]
大規模言語モデル(LLM)は、人やプログラミング言語におけるセムナティクスを理解する大きな可能性を示している。
私たちは、脆弱性の特定と修正を支援するAI駆動ワークフローの構築に重点を置いています。
論文 参考訳(メタデータ) (2024-01-02T16:14:30Z) - HW-V2W-Map: Hardware Vulnerability to Weakness Mapping Framework for
Root Cause Analysis with GPT-assisted Mitigation Suggestion [3.847218857469107]
HW-V2W-Map Frameworkは、ハードウェア脆弱性とIoT(Internet of Things)セキュリティに焦点を当てた機械学習(ML)フレームワークである。
私たちが提案したアーキテクチャには,オントロジーを更新するプロセスを自動化する,オントロジー駆動のストーリテリングフレームワークが組み込まれています。
提案手法は,GPT (Generative Pre-trained Transformer) Large Language Models (LLMs) を用いて緩和提案を行った。
論文 参考訳(メタデータ) (2023-12-21T02:14:41Z) - Model Stealing Attack against Graph Classification with Authenticity,
Uncertainty and Diversity [85.1927483219819]
GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。
異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
論文 参考訳(メタデータ) (2023-12-18T05:42:31Z) - Competition-Level Problems are Effective LLM Evaluators [124.7648712310141]
本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。
まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。
驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
論文 参考訳(メタデータ) (2023-12-04T18:58:57Z) - How Far Have We Gone in Vulnerability Detection Using Large Language
Models [15.09461331135668]
包括的な脆弱性ベンチマークであるVulBenchを紹介します。
このベンチマークは、幅広いCTF課題と実世界のアプリケーションから高品質なデータを集約する。
いくつかのLSMは、脆弱性検出における従来のディープラーニングアプローチよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-21T08:20:39Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - A Survey on Automated Software Vulnerability Detection Using Machine
Learning and Deep Learning [19.163031235081565]
近年、ソースコードの脆弱性を検出する機械学習(ML)とディープラーニング(DL)ベースのモデルが提示されている。
既存の研究のギャップを見つけることは困難であり、総合的な調査をせずに将来の改善の可能性を見出すのは難しいかもしれない。
この作業は、ML/DLベースのソースコードレベルソフトウェア脆弱性検出アプローチの様々な特徴を特徴付けるための体系的な調査を提示することで、そのギャップに対処する。
論文 参考訳(メタデータ) (2023-06-20T16:51:59Z) - A Survey on Programmatic Weak Supervision [74.13976343129966]
本稿では、PWS学習パラダイムの簡単な紹介と、各PWS学習ワークフローに対する代表的アプローチのレビューを行う。
この分野の今後の方向性に刺激を与えるために、この分野でまだ探索されていないいくつかの重要な課題を特定します。
論文 参考訳(メタデータ) (2022-02-11T04:05:38Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳(メタデータ) (2021-12-20T22:45:27Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。