論文の概要: Using ChatGPT as a Static Application Security Testing Tool
- arxiv url: http://arxiv.org/abs/2308.14434v1
- Date: Mon, 28 Aug 2023 09:21:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 14:29:58.414555
- Title: Using ChatGPT as a Static Application Security Testing Tool
- Title（参考訳）: 静的アプリケーションセキュリティテストツールとしてのChatGPTの使用
- Authors: Atieh Bakhshandeh, Abdalsamad Keramatfar, Amir Norouzi, and Mohammad
Mahdi Chekidehkhoun
- Abstract要約: ChatGPTはその素晴らしいパフォーマンスで大きな注目を集めています。
我々は,Python ソースコードの脆弱性検出に ChatGPT を用いることの可能性を検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, artificial intelligence has had a conspicuous growth in
almost every aspect of life. One of the most applicable areas is security code
review, in which a lot of AI-based tools and approaches have been proposed.
Recently, ChatGPT has caught a huge amount of attention with its remarkable
performance in following instructions and providing a detailed response.
Regarding the similarities between natural language and code, in this paper, we
study the feasibility of using ChatGPT for vulnerability detection in Python
source code. Toward this goal, we feed an appropriate prompt along with
vulnerable data to ChatGPT and compare its results on two datasets with the
results of three widely used Static Application Security Testing tools (Bandit,
Semgrep and SonarQube). We implement different kinds of experiments with
ChatGPT and the results indicate that ChatGPT reduces the false positive and
false negative rates and has the potential to be used for Python source code
vulnerability detection.
- Abstract（参考訳）: 近年、人工知能は人生のほとんどあらゆる面において顕著な成長を遂げている。
最も適用可能な分野のひとつはセキュリティコードレビューであり、AIベースのツールやアプローチが数多く提案されている。
近年,ChatGPT は命令の追従と詳細な応答の提供において,その顕著な性能に注目が集まっている。
本稿では、自然言語とコードの類似性について、Pythonソースコードの脆弱性検出にChatGPTを使用することの可能性を検討する。
この目標に向けて、ChatGPTに脆弱性のあるデータとともに適切なプロンプトを与え、その結果を2つのデータセットで比較し、広く使用されている3つの静的アプリケーションセキュリティテストツール(Bandit、Semgrep、SonarQube)の結果と比較する。
この結果から,ChatGPTは偽陰性率と偽陰性率を低減し,Pythonソースコードの脆弱性検出に利用できる可能性が示唆された。
関連論文リスト
- Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - Pros and Cons! Evaluating ChatGPT on Software Vulnerability [0.0]
5つの共通ソフトウェア脆弱性タスクをカバーするBig-Vulを用いてChatGPTを評価する。
既存の最先端手法は、ソフトウェア脆弱性検出において、ChatGPTよりも一般的に優れていることがわかった。
ChatGPTは、コンテキスト情報の提供と提供の両面で、限られた脆弱性修復機能を示している。
論文 参考訳（メタデータ） (2024-04-05T10:08:34Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - ChatGPT for Vulnerability Detection, Classification, and Repair: How Far
Are We? [24.61869093475626]
ChatGPTのような大規模言語モデル(LLM)は、様々なソフトウェアエンジニアリングタスクにおいて顕著な進歩を見せた。
ソフトウェア脆弱性のために設計された最先端言語モデルとChatGPTを比較した。
ChatGPTは限られたパフォーマンスを実現し、脆弱性コンテキストにおける他の言語モデルよりも大幅に遅れていることがわかった。
論文 参考訳（メタデータ） (2023-10-15T12:01:35Z) - When ChatGPT Meets Smart Contract Vulnerability Detection: How Far Are We? [34.61179425241671]
スマートコントラクトの脆弱性を識別する際のChatGPTの性能について,実証的研究を行った。
ChatGPTは高いリコール率を達成するが、スマートコントラクトの脆弱性を特定できる精度は限られている。
我々の研究は、スマートコントラクトの脆弱性の検出に大規模な言語モデル、特にChatGPTを使用する際の長所と短所に関する洞察を提供する。
論文 参考訳（メタデータ） (2023-09-11T15:02:44Z) - Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text? [20.37071875344405]
人間の書き起こし対AI生成テキスト検出におけるChatGPTのゼロショット性能を評価する。
我々は,ChatGPTがAI生成テキストや人文テキストの検出に対称的に有効であるかどうかを実証的に検討する。
論文 参考訳（メタデータ） (2023-08-02T17:11:37Z) - Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect
ChatGPT-Generated Text [48.36706154871577]
我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。
純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。
また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
論文 参考訳（メタデータ） (2023-07-21T06:38:37Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。