論文の概要: ChatGPT for Vulnerability Detection, Classification, and Repair: How Far Are We?

• arxiv url: http://arxiv.org/abs/2310.09810v1
• Date: Sun, 15 Oct 2023 12:01:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 02:30:13.829230
• Title: ChatGPT for Vulnerability Detection, Classification, and Repair: How Far Are We?
• Title（参考訳）: 脆弱性検出、分類、修復のためのchatgpt: どこまであるのか?
• Authors: Michael Fu, Chakkrit Tantithamthavorn, Van Nguyen, Trung Le
• Abstract要約: ChatGPTのような大規模言語モデル(LLM)は、様々なソフトウェアエンジニアリングタスクにおいて顕著な進歩を見せた。 ソフトウェア脆弱性のために設計された最先端言語モデルとChatGPTを比較した。 ChatGPTは限られたパフォーマンスを実現し、脆弱性コンテキストにおける他の言語モデルよりも大幅に遅れていることがわかった。
• 参考スコア（独自算出の注目度）: 24.61869093475626
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) like ChatGPT (i.e., gpt-3.5-turbo and gpt-4) exhibited remarkable advancement in a range of software engineering tasks associated with source code such as code review and code generation. In this paper, we undertake a comprehensive study by instructing ChatGPT for four prevalent vulnerability tasks: function and line-level vulnerability prediction, vulnerability classification, severity estimation, and vulnerability repair. We compare ChatGPT with state-of-the-art language models designed for software vulnerability purposes. Through an empirical assessment employing extensive real-world datasets featuring over 190,000 C/C++ functions, we found that ChatGPT achieves limited performance, trailing behind other language models in vulnerability contexts by a significant margin. The experimental outcomes highlight the challenging nature of vulnerability prediction tasks, requiring domain-specific expertise. Despite ChatGPT's substantial model scale, exceeding that of source code-pre-trained language models (e.g., CodeBERT) by a factor of 14,000, the process of fine-tuning remains imperative for ChatGPT to generalize for vulnerability prediction tasks. We publish the studied dataset, experimental prompts for ChatGPT, and experimental results at https://github.com/awsm-research/ChatGPT4Vul.
• Abstract（参考訳）: ChatGPT(gpt-3.5-turboとgpt-4)のような大規模言語モデル(LLM)は、コードレビューやコード生成といったソースコードに関連する様々なソフトウェアエンジニアリングタスクにおいて顕著な進歩を見せた。 本稿では,ChatGPTに対して,機能およびラインレベルの脆弱性予測,脆弱性分類,重度推定,脆弱性修復の4つの主要な課題について,総合的研究を行う。 chatgptを,ソフトウェア脆弱性のために設計された最先端言語モデルと比較する。 190,000以上のc/c++関数を特徴とする大規模な実世界のデータセットを用いた経験的評価を通じて、chatgptは限定的なパフォーマンスを達成し、脆弱性コンテキストで他の言語モデルに後れを取っていることがわかった。 実験の結果は、脆弱性予測タスクの難しい性質を強調し、ドメイン固有の専門知識を必要とする。 ChatGPTのかなりのモデルスケールは、ソースコード事前訓練された言語モデル(例えばCodeBERT)を14,000倍に上回るが、微調整のプロセスはChatGPTが脆弱性予測タスクを一般化するために必須である。 研究したデータセット、ChatGPTの実験プロンプト、およびhttps://github.com/awsm-research/ChatGPT4Vulでの実験結果を公開する。

関連論文リスト

• Pros and Cons! Evaluating ChatGPT on Software Vulnerability [0.0]
  5つの共通ソフトウェア脆弱性タスクをカバーするBig-Vulを用いてChatGPTを評価する。 既存の最先端手法は、ソフトウェア脆弱性検出において、ChatGPTよりも一般的に優れていることがわかった。 ChatGPTは、コンテキスト情報の提供と提供の両面で、限られた脆弱性修復機能を示している。
  論文  参考訳（メタデータ） (2024-04-05T10:08:34Z)
• Exploring the Limits of ChatGPT in Software Security Applications [29.829574588773486]
  大規模言語モデル(LLM)は急速な進化を遂げ、近年は顕著な成果を上げている。 OpenAIのChatGPTは、幅広いタスクにまたがる強力な能力のために、すぐに人気を得た。
  論文  参考訳（メタデータ） (2023-12-08T03:02:37Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Evaluating the Impact of ChatGPT on Exercises of a Software Security Course [2.3017018980874617]
  ChatGPTは、Webアプリケーションに挿入した28の脆弱性の20をホワイトボックス設定で識別できる。 ChatGPTは、生徒に修正を求める10の脆弱性に対して、9つの満足できる侵入テストとレコメンデーションの修正を行います。
  論文  参考訳（メタデータ） (2023-09-18T18:53:43Z)
• When ChatGPT Meets Smart Contract Vulnerability Detection: How Far Are We? [34.61179425241671]
  スマートコントラクトの脆弱性を識別する際のChatGPTの性能について,実証的研究を行った。 ChatGPTは高いリコール率を達成するが、スマートコントラクトの脆弱性を特定できる精度は限られている。 我々の研究は、スマートコントラクトの脆弱性の検出に大規模な言語モデル、特にChatGPTを使用する際の長所と短所に関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-09-11T15:02:44Z)
• Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
  本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。 この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
  論文  参考訳（メタデータ） (2023-07-10T08:20:34Z)
• ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。 本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。 従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
  論文  参考訳（メタデータ） (2023-04-12T05:08:52Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)
• A Categorical Archive of ChatGPT Failures [47.64219291655723]
  OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。 それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。 しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
  論文  参考訳（メタデータ） (2023-02-06T04:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。