論文の概要: Leveraging GPT-4 for Vulnerability-Witnessing Unit Test Generation

• arxiv url: http://arxiv.org/abs/2506.11559v1
• Date: Fri, 13 Jun 2025 08:13:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.712034
• Title: Leveraging GPT-4 for Vulnerability-Witnessing Unit Test Generation
• Title（参考訳）: 脆弱性対応ユニットテスト生成のためのGPT-4の活用
• Authors: Gábor Antal, Dénes Bán, Martin Isztin, Rudolf Ferenc, Péter Hegedűs,
• Abstract要約: 本稿では,最も広く使用されている大規模言語モデルであるGPT-4の自動単体テスト生成機能について検討する。 実際の脆弱性とそれに対応する修正を含むVUL4Jデータセットのサブセットについて検討する。 我々は,コードコンテキストの影響,GPT-4の自己補正能力の有効性,生成したテストケースの主観的使用性に着目した。
• 参考スコア（独自算出の注目度）: 0.6571063542099526
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the life-cycle of software development, testing plays a crucial role in quality assurance. Proper testing not only increases code coverage and prevents regressions but it can also ensure that any potential vulnerabilities in the software are identified and effectively fixed. However, creating such tests is a complex, resource-consuming manual process. To help developers and security experts, this paper explores the automatic unit test generation capability of one of the most widely used large language models, GPT-4, from the perspective of vulnerabilities. We examine a subset of the VUL4J dataset containing real vulnerabilities and their corresponding fixes to determine whether GPT-4 can generate syntactically and/or semantically correct unit tests based on the code before and after the fixes as evidence of vulnerability mitigation. We focus on the impact of code contexts, the effectiveness of GPT-4's self-correction ability, and the subjective usability of the generated test cases. Our results indicate that GPT-4 can generate syntactically correct test cases 66.5\% of the time without domain-specific pre-training. Although the semantic correctness of the fixes could be automatically validated in only 7. 5\% of the cases, our subjective evaluation shows that GPT-4 generally produces test templates that can be further developed into fully functional vulnerability-witnessing tests with relatively minimal manual effort. Therefore, despite the limited data, our initial findings suggest that GPT-4 can be effectively used in the generation of vulnerability-witnessing tests. It may not operate entirely autonomously, but it certainly plays a significant role in a partially automated process.
• Abstract（参考訳）: ソフトウェア開発のライフサイクルにおいて、テストは品質保証において重要な役割を果たす。 適切なテストはコードカバレッジを高め、回帰を防ぐだけでなく、ソフトウェアの潜在的な脆弱性が特定され、効果的に修正されることも保証します。 しかし、そのようなテストを作成するのは複雑でリソースを消費する手作業です。 開発者やセキュリティの専門家を支援するために,脆弱性の観点から,最も広く使用されている大規模言語モデルであるGPT-4のユニットテスト自動生成機能について検討する。 実際の脆弱性とそれに対応する修正を含むVUL4Jデータセットのサブセットを調べ、GPT-4が、脆弱性軽減の証拠として、修正前後のコードに基づいて、構文的および/または意味論的に正しい単体テストを生成することができるかどうかを判断する。 我々は,コードコンテキストの影響,GPT-4の自己補正能力の有効性,生成したテストケースの主観的使用性に着目した。 以上の結果から, GPT-4は, ドメイン固有の事前トレーニングを伴わずに, 66.5 %の時間で構文的に正しいテストケースを生成できることが示唆された。 しかし、修正の意味的正しさは7で自動的に検証できる。 5 %のケースにおいて,GPT-4 は比較的最小限の手作業で,より機能的な脆弱性知能テストに発展するテストテンプレートを一般的に生成することを示した。 したがって,データに制限があるにもかかわらず,GPT-4は脆弱性知能テストの生成に有効である可能性が示唆された。 完全に自律的に動作するわけではないかもしれないが、部分的に自動化されたプロセスにおいて、確実に重要な役割を果たす。

関連論文リスト

• Benchmarking Prompt Engineering Techniques for Secure Code Generation with GPT Models [1.0874597293913013]
  コードセキュリティに対する様々な迅速なエンジニアリング戦略の影響を評価するために,ベンチマークを実装した。 我々は, GPT-3.5-turbo, GPT-4o, GPT-4o-miniで複数のプロンプトエンジニアリング手法を試験した。 テストされたすべてのモデルは、以前に生成されたコードの脆弱性の41.9%から68.7%を検知し、修復する機能を示した。
  論文  参考訳（メタデータ） (2025-02-09T21:23:07Z)
• What You See Is What You Get: Attention-based Self-guided Automatic Unit Test Generation [3.8244417073114003]
  本稿では,AUGER(Attention-based Self-guided Automatic Unit Test GenERation)アプローチを提案する。 AUGERには欠陥検出とエラートリガーという2つのステージがある。 F1スコアと欠陥検出精度で4.7%から35.3%向上した。 ユニットテスト生成において、最先端(SOTA)アプローチよりも23から84のエラーを発生させることができる。
  論文  参考訳（メタデータ） (2024-12-01T14:28:48Z)
• Automated Proof Generation for Rust Code via Self-Evolution [69.25795662658356]
  私たちは、Rustコードの自動証明生成を可能にする、人書きスニペットの欠如を克服するフレームワークであるSAFEを紹介します。 SAFEは、細調整されたモデルの自己老化能力を訓練するために、多数の合成不正確な証明を再利用する。 我々は、人間の専門家によるベンチマークで52.52%の精度で達成し、GPT-4oのパフォーマンス14.39%を大きく上回った。
  論文  参考訳（メタデータ） (2024-10-21T08:15:45Z)
• Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
  大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。 自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。 我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
  論文  参考訳（メタデータ） (2023-06-16T15:13:17Z)
• GPT-4 Technical Report [116.90398195245983]
  GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。 試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。