論文の概要: Prompt-Enhanced Software Vulnerability Detection Using ChatGPT
- arxiv url: http://arxiv.org/abs/2308.12697v1
- Date: Thu, 24 Aug 2023 10:30:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 12:45:42.215890
- Title: Prompt-Enhanced Software Vulnerability Detection Using ChatGPT
- Title(参考訳): ChatGPTを用いたプロンプト強化ソフトウェア脆弱性検出
- Authors: Chenyuan Zhang, Hao Liu, Jiutian Zeng, Kejing Yang, Yuhong Li, Hui Li
- Abstract要約: GPTのような大規模言語モデル(LLM)は、その驚くべき知性のためにかなりの注目を集めている。
本稿では,ChatGPTを用いたソフトウェア脆弱性検出の性能について検討する。
- 参考スコア(独自算出の注目度): 9.916614611720407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increase in software vulnerabilities that cause significant economic
and social losses, automatic vulnerability detection has become essential in
software development and maintenance. Recently, large language models (LLMs)
like GPT have received considerable attention due to their stunning
intelligence, and some studies consider using ChatGPT for vulnerability
detection. However, they do not fully consider the characteristics of LLMs,
since their designed questions to ChatGPT are simple without a specific prompt
design tailored for vulnerability detection. This paper launches a study on the
performance of software vulnerability detection using ChatGPT with different
prompt designs. Firstly, we complement previous work by applying various
improvements to the basic prompt. Moreover, we incorporate structural and
sequential auxiliary information to improve the prompt design. Besides, we
leverage ChatGPT's ability of memorizing multi-round dialogue to design
suitable prompts for vulnerability detection. We conduct extensive experiments
on two vulnerability datasets to demonstrate the effectiveness of
prompt-enhanced vulnerability detection using ChatGPT. We also analyze the
merit and demerit of using ChatGPT for vulnerability detection.
- Abstract(参考訳): 経済的および社会的損失を引き起こすソフトウェア脆弱性の増加に伴い、自動脆弱性検出はソフトウェア開発とメンテナンスにおいて不可欠になっている。
近年、GPTのような大規模言語モデル(LLM)は、その驚くべきインテリジェンスによって大きな注目を集めており、脆弱性検出にChatGPTを使うことを検討する研究もある。
しかし、ChatGPTに対する設計質問は、脆弱性検出に適した特定のプロンプト設計なしでは単純であるため、LLMの特性を十分に考慮していない。
本稿では,さまざまなプロンプトデザインのchatgptを用いたソフトウェア脆弱性検出性能に関する調査を行う。
まず,基礎的なプロンプトに様々な改良を加えることで,従来の作業を補完する。
さらに、構造的およびシーケンシャルな補助情報を組み込んで、プロンプト設計を改善する。
さらに,マルチラウンド対話を記憶し,脆弱性検出に適したプロンプトを設計するchatgptの機能を活用する。
chatgptを用いたプロンプトエンハンスド脆弱性検出の有効性を実証するために,2つの脆弱性データセットについて広範な実験を行った。
また,脆弱性検出にChatGPTを用いることのメリットとメリットを分析した。
関連論文リスト
- Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳(メタデータ) (2024-02-06T06:03:05Z) - How ChatGPT is Solving Vulnerability Management Problem [58.31828926938327]
78,445のサンプルを含む大規模データセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を調査する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳(メタデータ) (2023-11-11T11:01:13Z) - DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。
提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
論文 参考訳(メタデータ) (2023-11-08T21:13:05Z) - ChatGPT for Vulnerability Detection, Classification, and Repair: How Far
Are We? [24.61869093475626]
ChatGPTのような大規模言語モデル(LLM)は、様々なソフトウェアエンジニアリングタスクにおいて顕著な進歩を見せた。
ソフトウェア脆弱性のために設計された最先端言語モデルとChatGPTを比較した。
ChatGPTは限られたパフォーマンスを実現し、脆弱性コンテキストにおける他の言語モデルよりも大幅に遅れていることがわかった。
論文 参考訳(メタデータ) (2023-10-15T12:01:35Z) - Evaluating the Impact of ChatGPT on Exercises of a Software Security
Course [2.3017018980874617]
ChatGPTは、Webアプリケーションに挿入した28の脆弱性の20をホワイトボックス設定で識別できる。
ChatGPTは、生徒に修正を求める10の脆弱性に対して、9つの満足できる侵入テストとレコメンデーションの修正を行います。
論文 参考訳(メタデータ) (2023-09-18T18:53:43Z) - When ChatGPT Meets Smart Contract Vulnerability Detection: How Far Are
We? [32.49821094985732]
スマートコントラクトの脆弱性を識別する際のChatGPTの性能について,実証的研究を行った。
ChatGPTは高いリコール率を達成するが、スマートコントラクトの脆弱性を特定できる精度は限られている。
我々の研究は、スマートコントラクトの脆弱性の検出に大規模な言語モデル、特にChatGPTを使用する際の長所と短所に関する洞察を提供する。
論文 参考訳(メタデータ) (2023-09-11T15:02:44Z) - ChatGPT and Simple Linguistic Inferences: Blind Spots and Blinds [51.220650412095665]
本稿では,人間にとって容易な単純な推論タスクに焦点をあてる。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
以上の結果から,モデルがこのような推論に苦慮し,中程度の精度で精度が低いことが示唆された。
論文 参考訳(メタデータ) (2023-05-24T06:41:09Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳(メタデータ) (2023-04-04T03:04:28Z) - Consistency Analysis of ChatGPT [65.268245109828]
本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。
その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
論文 参考訳(メタデータ) (2023-03-11T01:19:01Z) - On the Robustness of ChatGPT: An Adversarial and Out-of-distribution
Perspective [67.98821225810204]
本研究は,ChatGPTの頑健性について,敵対的視点とアウト・オブ・ディストリビューションの観点から評価する。
その結果,ほとんどの対人・OOD分類・翻訳作業において一貫した優位性を示した。
ChatGPTは対話関連テキストの理解において驚くべきパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-02-22T11:01:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。