論文の概要: Using ChatGPT as a Static Application Security Testing Tool
- arxiv url: http://arxiv.org/abs/2308.14434v1
- Date: Mon, 28 Aug 2023 09:21:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 14:29:58.414555
- Title: Using ChatGPT as a Static Application Security Testing Tool
- Title(参考訳): 静的アプリケーションセキュリティテストツールとしてのChatGPTの使用
- Authors: Atieh Bakhshandeh, Abdalsamad Keramatfar, Amir Norouzi, and Mohammad
Mahdi Chekidehkhoun
- Abstract要約: ChatGPTはその素晴らしいパフォーマンスで大きな注目を集めています。
我々は,Python ソースコードの脆弱性検出に ChatGPT を用いることの可能性を検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, artificial intelligence has had a conspicuous growth in
almost every aspect of life. One of the most applicable areas is security code
review, in which a lot of AI-based tools and approaches have been proposed.
Recently, ChatGPT has caught a huge amount of attention with its remarkable
performance in following instructions and providing a detailed response.
Regarding the similarities between natural language and code, in this paper, we
study the feasibility of using ChatGPT for vulnerability detection in Python
source code. Toward this goal, we feed an appropriate prompt along with
vulnerable data to ChatGPT and compare its results on two datasets with the
results of three widely used Static Application Security Testing tools (Bandit,
Semgrep and SonarQube). We implement different kinds of experiments with
ChatGPT and the results indicate that ChatGPT reduces the false positive and
false negative rates and has the potential to be used for Python source code
vulnerability detection.
- Abstract(参考訳): 近年、人工知能は人生のほとんどあらゆる面において顕著な成長を遂げている。
最も適用可能な分野のひとつはセキュリティコードレビューであり、AIベースのツールやアプローチが数多く提案されている。
近年,ChatGPT は命令の追従と詳細な応答の提供において,その顕著な性能に注目が集まっている。
本稿では、自然言語とコードの類似性について、Pythonソースコードの脆弱性検出にChatGPTを使用することの可能性を検討する。
この目標に向けて、ChatGPTに脆弱性のあるデータとともに適切なプロンプトを与え、その結果を2つのデータセットで比較し、広く使用されている3つの静的アプリケーションセキュリティテストツール(Bandit、Semgrep、SonarQube)の結果と比較する。
この結果から,ChatGPTは偽陰性率と偽陰性率を低減し,Pythonソースコードの脆弱性検出に利用できる可能性が示唆された。
関連論文リスト
- Pros and Cons! Evaluating ChatGPT on Software Vulnerability [0.0]
5つの共通ソフトウェア脆弱性タスクをカバーするBig-Vulを用いてChatGPTを評価する。
既存の最先端手法は、ソフトウェア脆弱性検出において、ChatGPTよりも一般的に優れていることがわかった。
ChatGPTは、コンテキスト情報の提供と提供の両面で、限られた脆弱性修復機能を示している。
論文 参考訳(メタデータ) (2024-04-05T10:08:34Z) - How ChatGPT is Solving Vulnerability Management Problem [58.31828926938327]
78,445のサンプルを含む大規模データセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を調査する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳(メタデータ) (2023-11-11T11:01:13Z) - Primacy Effect of ChatGPT [74.56193663827327]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳(メタデータ) (2023-10-20T00:37:28Z) - ChatGPT for Vulnerability Detection, Classification, and Repair: How Far
Are We? [24.61869093475626]
ChatGPTのような大規模言語モデル(LLM)は、様々なソフトウェアエンジニアリングタスクにおいて顕著な進歩を見せた。
ソフトウェア脆弱性のために設計された最先端言語モデルとChatGPTを比較した。
ChatGPTは限られたパフォーマンスを実現し、脆弱性コンテキストにおける他の言語モデルよりも大幅に遅れていることがわかった。
論文 参考訳(メタデータ) (2023-10-15T12:01:35Z) - When ChatGPT Meets Smart Contract Vulnerability Detection: How Far Are
We? [32.49821094985732]
スマートコントラクトの脆弱性を識別する際のChatGPTの性能について,実証的研究を行った。
ChatGPTは高いリコール率を達成するが、スマートコントラクトの脆弱性を特定できる精度は限られている。
我々の研究は、スマートコントラクトの脆弱性の検出に大規模な言語モデル、特にChatGPTを使用する際の長所と短所に関する洞察を提供する。
論文 参考訳(メタデータ) (2023-09-11T15:02:44Z) - Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text? [20.37071875344405]
人間の書き起こし対AI生成テキスト検出におけるChatGPTのゼロショット性能を評価する。
我々は,ChatGPTがAI生成テキストや人文テキストの検出に対称的に有効であるかどうかを実証的に検討する。
論文 参考訳(メタデータ) (2023-08-02T17:11:37Z) - Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect
ChatGPT-Generated Text [48.36706154871577]
我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。
純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。
また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
論文 参考訳(メタデータ) (2023-07-21T06:38:37Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳(メタデータ) (2023-04-12T05:08:52Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳(メタデータ) (2023-04-04T03:04:28Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳(メタデータ) (2023-02-19T12:29:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。