論文の概要: Prompt-Enhanced Software Vulnerability Detection Using ChatGPT
- arxiv url: http://arxiv.org/abs/2308.12697v2
- Date: Fri, 12 Apr 2024 02:50:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 19:56:17.166023
- Title: Prompt-Enhanced Software Vulnerability Detection Using ChatGPT
- Title（参考訳）: ChatGPTを用いたプロンプト強化ソフトウェア脆弱性検出
- Authors: Chenyuan Zhang, Hao Liu, Jiutian Zeng, Kejing Yang, Yuhong Li, Hui Li,
- Abstract要約: GPTのような大規模言語モデル(LLM)は、その驚くべき知性のためにかなりの注目を集めている。
本稿では,ChatGPTを用いたソフトウェア脆弱性検出の性能について検討する。
- 参考スコア（独自算出の注目度）: 9.35868869848051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increase in software vulnerabilities that cause significant economic and social losses, automatic vulnerability detection has become essential in software development and maintenance. Recently, large language models (LLMs) like GPT have received considerable attention due to their stunning intelligence, and some studies consider using ChatGPT for vulnerability detection. However, they do not fully consider the characteristics of LLMs, since their designed questions to ChatGPT are simple without a specific prompt design tailored for vulnerability detection. This paper launches a study on the performance of software vulnerability detection using ChatGPT with different prompt designs. Firstly, we complement previous work by applying various improvements to the basic prompt. Moreover, we incorporate structural and sequential auxiliary information to improve the prompt design. Besides, we leverage ChatGPT's ability of memorizing multi-round dialogue to design suitable prompts for vulnerability detection. We conduct extensive experiments on two vulnerability datasets to demonstrate the effectiveness of prompt-enhanced vulnerability detection using ChatGPT. We also analyze the merit and demerit of using ChatGPT for vulnerability detection. Repository: https://github.com/KDEGroup/LLMVulnerabilityDetection.
- Abstract（参考訳）: 経済的・社会的損失を引き起こすソフトウェア脆弱性の増加に伴い、ソフトウェア開発とメンテナンスにおいて、自動脆弱性検出が不可欠になっている。
近年、GPTのような大規模言語モデル(LLM)は、その驚くべきインテリジェンスによって大きな注目を集めており、脆弱性検出にChatGPTを使うことを検討する研究もある。
しかし、ChatGPTに対する設計上の質問は、脆弱性検出に適した特定のプロンプト設計なしでは単純であるため、LLMの特性を十分に考慮していない。
本稿では,ChatGPTを用いたソフトウェア脆弱性検出の性能について検討する。
まず,基礎的なプロンプトに様々な改良を加えることで,従来の作業を補完する。
さらに、構造的およびシーケンシャルな補助情報を組み込んで、プロンプト設計を改善する。
さらに,ChatGPTのマルチラウンド対話を記憶する能力を活用し,脆弱性検出に適したプロンプトを設計する。
筆者らは,ChatGPTを用いた迅速な脆弱性検出の有効性を示すために,2つの脆弱性データセットに関する広範な実験を行った。
また,脆弱性検出にChatGPTを用いることのメリットとメリットも分析した。
リポジトリ: https://github.com/KDEGroup/LLMVulnerabilityDetection
関連論文リスト
- A Qualitative Study on Using ChatGPT for Software Security: Perception vs. Practicality [1.7624347338410744]
ChatGPTは大きな言語モデル(LLM)であり、目覚ましい意味理解と精度で様々なタスクを実行できる。
本研究は,ソフトウェアセキュリティを支える新技術としてChatGPTの可能性を理解することを目的としている。
セキュリティ実践者は、ChatGPTを脆弱性検出、情報検索、侵入テストなど、さまざまなソフトウェアセキュリティタスクに有用であると判断した。
論文 参考訳（メタデータ） (2024-08-01T10:14:05Z) - Pros and Cons! Evaluating ChatGPT on Software Vulnerability [0.0]
5つの共通ソフトウェア脆弱性タスクをカバーするBig-Vulを用いてChatGPTを評価する。
既存の最先端手法は、ソフトウェア脆弱性検出において、ChatGPTよりも一般的に優れていることがわかった。
ChatGPTは、コンテキスト情報の提供と提供の両面で、限られた脆弱性修復機能を示している。
論文 参考訳（メタデータ） (2024-04-05T10:08:34Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。
提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
論文 参考訳（メタデータ） (2023-11-08T21:13:05Z) - Evaluating the Impact of ChatGPT on Exercises of a Software Security
Course [2.3017018980874617]
ChatGPTは、Webアプリケーションに挿入した28の脆弱性の20をホワイトボックス設定で識別できる。
ChatGPTは、生徒に修正を求める10の脆弱性に対して、9つの満足できる侵入テストとレコメンデーションの修正を行います。
論文 参考訳（メタデータ） (2023-09-18T18:53:43Z) - When ChatGPT Meets Smart Contract Vulnerability Detection: How Far Are We? [34.61179425241671]
スマートコントラクトの脆弱性を識別する際のChatGPTの性能について,実証的研究を行った。
ChatGPTは高いリコール率を達成するが、スマートコントラクトの脆弱性を特定できる精度は限られている。
我々の研究は、スマートコントラクトの脆弱性の検出に大規模な言語モデル、特にChatGPTを使用する際の長所と短所に関する洞察を提供する。
論文 参考訳（メタデータ） (2023-09-11T15:02:44Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - On the Robustness of ChatGPT: An Adversarial and Out-of-distribution
Perspective [67.98821225810204]
本研究は,ChatGPTの頑健性について,敵対的視点とアウト・オブ・ディストリビューションの観点から評価する。
その結果,ほとんどの対人・OOD分類・翻訳作業において一貫した優位性を示した。
ChatGPTは対話関連テキストの理解において驚くべきパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-02-22T11:01:20Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。