論文の概要: The FormAI Dataset: Generative AI in Software Security Through the Lens
of Formal Verification
- arxiv url: http://arxiv.org/abs/2307.02192v1
- Date: Wed, 5 Jul 2023 10:39:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 14:16:56.367390
- Title: The FormAI Dataset: Generative AI in Software Security Through the Lens
of Formal Verification
- Title（参考訳）: FormAIデータセット: 形式検証のレンズによるソフトウェアセキュリティにおける生成AI
- Authors: Norbert Tihanyi, Tamas Bisztray, Ridhi Jain, Mohamed Amine Ferrag,
Lucas C. Cordeiro, Vasileios Mavroeidis
- Abstract要約: FormAIデータセットは、脆弱性分類を備えた112,000のAI生成可能な独立したCプログラムの大規模なコレクションである。
すべてのプログラムには、型、行番号、脆弱な関数名を示すソースコード内の脆弱性がラベル付けされている。
ソースコードを112,000のプログラムで利用可能にし、各プログラムで検出された脆弱性を詳述した包括的なリストを添える。
- 参考スコア（独自算出の注目度）: 1.0700114817489723
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents the FormAI dataset, a large collection of 112,000
AI-generated compilable and independent C programs with vulnerability
classification. We introduce a dynamic zero-shot prompting technique,
constructed to spawn a diverse set of programs utilizing Large Language Models
(LLMs). The dataset is generated by GPT-3.5-turbo and comprises programs with
varying levels of complexity. Some programs handle complicated tasks such as
network management, table games, or encryption, while others deal with simpler
tasks like string manipulation. Every program is labeled with the
vulnerabilities found within the source code, indicating the type, line number,
and vulnerable function name. This is accomplished by employing a formal
verification method using the Efficient SMT-based Bounded Model Checker
(ESBMC), which performs model checking, abstract interpretation, constraint
programming, and satisfiability modulo theories, to reason over safety/security
properties in programs. This approach definitively detects vulnerabilities and
offers a formal model known as a counterexample, thus eliminating the
possibility of generating false positive reports. This property of the dataset
makes it suitable for evaluating the effectiveness of various static and
dynamic analysis tools. Furthermore, we have associated the identified
vulnerabilities with relevant Common Weakness Enumeration (CWE) numbers. We
make the source code available for the 112,000 programs, accompanied by a
comprehensive list detailing the vulnerabilities detected in each individual
program including location and function name, which makes the dataset ideal to
train LLMs and machine learning algorithms.
- Abstract（参考訳）: 本稿では、脆弱性分類付き112,000のAI生成可能な独立したCプログラムの大規模なコレクションであるFormAIデータセットを提案する。
本稿では,大規模言語モデル(llm)を活用した多種多様なプログラム群を生成するための動的ゼロショットプロンプト手法を提案する。
データセットはGPT-3.5-turboによって生成され、様々なレベルの複雑さを持つプログラムから構成される。
ネットワーク管理、テーブルゲーム、暗号化といった複雑なタスクを扱うプログラムや、文字列操作のような単純なタスクを扱うプログラムもある。
各プログラムにはソースコード内の脆弱性がラベル付けされ、型、行番号、脆弱な関数名を示す。
これは、モデルチェック、抽象解釈、制約プログラミング、満足度モジュロ理論を実行する、効率的なSMTベースの境界モデルチェッカー(ESBMC)を使用して、プログラムの安全性/セキュリティ特性を推論する形式的検証手法を用いて実現される。
このアプローチは脆弱性を確定的に検出し、反例として知られる形式的なモデルを提供する。
このデータセットの特性は、様々な静的および動的解析ツールの有効性を評価するのに適している。
さらに、特定された脆弱性を関連するCWE(Common Weakness Enumeration)番号に関連付けている。
112,000のプログラムでソースコードを利用可能にするとともに、各プログラムで検出された脆弱性の詳細を包括的にリスト化することで、llmや機械学習アルゴリズムをトレーニングするのにデータセットが理想的になる。
関連論文リスト
- HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。
最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。
我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
論文 参考訳（メタデータ） (2024-09-10T12:01:43Z) - Automated Repair of AI Code with Large Language Models and Formal Verification [4.9975496263385875]
次世代のAIシステムは強力な安全保証を必要とする。
本稿では,ニューラルネットワークと関連するメモリ安全性特性のソフトウェア実装について述べる。
これらの脆弱性を検出し、大きな言語モデルの助けを借りて自動的に修復します。
論文 参考訳（メタデータ） (2024-05-14T11:52:56Z) - Do Neutral Prompts Produce Insecure Code? FormAI-v2 Dataset: Labelling Vulnerabilities in Code Generated by Large Language Models [3.4887856546295333]
この研究は、最先端の大規模言語モデル(LLM)の比較分析を提供する。
中立なゼロショットプロンプトを使って単純なCプログラムを書く際に、脆弱性が発生する可能性を分析する。
論文 参考訳（メタデータ） (2024-04-29T01:24:14Z) - CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。
我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。
CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
論文 参考訳（メタデータ） (2024-03-12T17:55:38Z) - Learning to Quantize Vulnerability Patterns and Match to Locate
Statement-Level Vulnerabilities [19.6975205650411]
さまざまな脆弱性パターンを表す量子化されたベクトルで構成される脆弱性コードブックが学習される。
推論の間、コードブックは、すべての学習パターンにマッチし、潜在的な脆弱性の存在を予測するために反復される。
提案手法は188,000以上のC/C++関数からなる実世界のデータセットに対して広範に評価された。
論文 参考訳（メタデータ） (2023-05-26T04:13:31Z) - A New Era in Software Security: Towards Self-Healing Software via Large Language Models and Formal Verification [8.733354577147093]
本稿では,Large Language Models(LLM)とFormal Verification戦略を組み合わせたソフトウェア脆弱性の自動修復手法を提案する。
我々は、ESBMC-AIフレームワークを概念実証として、よく認識され、業界に受け入れられたSMTベースのコンテキスト境界モデルチェッカー(ESBMC)と事前訓練されたトランスフォーマーモデルを活用する。
本研究は,バッファオーバーフローや演算オーバーフロー,ポインタ参照障害などの問題を高精度に検出および修正するESBMC-AIの機能を示すものである。
論文 参考訳（メタデータ） (2023-05-24T05:54:10Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳（メタデータ） (2023-02-08T11:54:07Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-06-04T22:01:05Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳（メタデータ） (2021-12-20T22:45:27Z) - Software Vulnerability Detection via Deep Learning over Disaggregated
Code Graph Representation [57.92972327649165]
この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。
コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
論文 参考訳（メタデータ） (2021-09-07T21:24:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。