論文の概要: Generating Proof-of-Vulnerability Tests to Help Enhance the Security of Complex Software
- arxiv url: http://arxiv.org/abs/2605.03956v1
- Date: Tue, 05 May 2026 16:39:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:44.042514
- Title: Generating Proof-of-Vulnerability Tests to Help Enhance the Security of Complex Software
- Title（参考訳）: 複雑なソフトウェアのセキュリティを高めるための脆弱性テストの生成
- Authors: Shravya Kanchi, Xiaoyan Zang, Ying Zhang, Danfeng Yao, Na Meng,
- Abstract要約: 開発者は、サードパーティのライブラリ(Libs)の上にモダンなソフトウェアアプリケーション(アプリ)を作る
PoVSmithは、コールパスの分析、典型的なテスト、コードコンテキスト、フィードバックをテスト生成、実行、アセスメントのプロンプトに組み合わせた新しいアプローチである。
- 参考スコア（独自算出の注目度）: 5.811251662437475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developers create modern software applications (Apps) on top of third-party libraries (Libs). When library vulnerabilities are reachable through application code, the applications can be vulnerable to software supply chain attacks. Prior work shows that developers often require concrete and executable evidence, i.e., proof-of-vulnerability (PoV) tests, to decide whether a reported dependency vulnerability poses a practical security risk to their application. However, manually crafting such tests is challenging, and existing tool support is insufficient to automate the procedure. To streamline test generation, we created PoVSmith -- a new approach that combines call path analysis, exemplar test, code context, and feedback into multiple prompts to guide a coding agent (i.e., Codex) and a large language model (i.e., GPT) for test generation, execution, and assessment. We evaluated PoVSmith on 33 $\langle$App, Lib$\rangle$ Java program pairs, where each App depends on a vulnerable Lib. PoVSmith revealed 158 unique application-level entry points (i.e., public methods) calling vulnerable library APIs; 152 (96\%) of them were correctly found, together with the call paths properly recognized. With such method call information, PoVSmith generated 152 tests, 84 (55\%) of which demonstrated feasible ways of attacking Apps by exploiting Lib vulnerabilities. PoVSmith substantially outperforms the state-of-the-art LLM-based approach, as it reduces human involvement while dramatically improving test quality. Our work contributes (1) a novel approach of agent-based test generation, (2) an iterative code refinement process driven by execution feedback, and (3) LLM-based quality assessment grounded in both the test context and execution logs.
- Abstract（参考訳）: 開発者は、サードパーティのライブラリ(Libs)の上にモダンなソフトウェアアプリケーション(アプリ)を作成する。
ライブラリの脆弱性がアプリケーションコードを通じてアクセス可能である場合、アプリケーションはソフトウェアサプライチェーン攻撃に対して脆弱である可能性がある。
以前の研究は、開発者はしばしば、報告された依存性の脆弱性がアプリケーションに実用的なセキュリティリスクをもたらすかどうかを決定するために、具体的かつ実行可能なエビデンス、すなわちPoVテストを必要としていることを示している。
しかし、このようなテストを手作業で作成することは困難であり、既存のツールサポートは手順を自動化するには不十分である。
テスト生成を合理化するために、私たちはPoVSmithという新しいアプローチを作りました。これは、テスト生成、実行、評価のためのコーディングエージェント(Codex)と大きな言語モデル(GPT)を導くために、コールパス分析、例証テスト、コードコンテキスト、フィードバックを複数のプロンプトに組み合わせた新しいアプローチです。
私たちはPoVSmithを33$\langle$App, Lib$\rangle$Javaプログラムペアで評価しました。
PoVSmithは、脆弱なライブラリAPIを呼び出す158のユニークなアプリケーションレベルのエントリポイント(パブリックメソッド)を明らかにした。
このようなメソッドコール情報により、PoVSmithは152のテストを生成し、そのうち84(55\%)がLib脆弱性を悪用してAppを攻撃する方法を実証した。
PoVSmithは、人間の関与を減らし、テスト品質を劇的に改善し、最先端のLLMベースのアプローチを大幅に上回っている。
本研究は,(1)エージェントベースのテスト生成の新しいアプローチ,(2)実行フィードバックによって駆動される反復的コード改善プロセス,(3)テストコンテキストと実行ログの両方に基礎を置いたLCMベースの品質評価に寄与する。
関連論文リスト
- The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。
提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。
本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
論文 参考訳（メタデータ） (2026-03-11T19:51:33Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - BOSQTGEN: Breaking the Sound Barrier in Test Generation [3.052470294814771]
本稿では,新しいブラックボックスとAPIテスト生成ツールであるBOSQTGENを紹介する。
BOSQTGENは、API仕様をプリミティブに分解するための新しいアプローチ、LLMを使用してコヒーレントなインタラクションを提案し、これらの値を効率的にサンプリングするためにテストを採用する。
結果として得られたBOSQTGENシステムは、ベンチマークで平均82%のコードカバレッジを達成するが、しばしば以前の最先端システムよりも20%以上増加する。
論文 参考訳（メタデータ） (2025-10-22T17:11:30Z) - Reactive Bottom-Up Testing [15.280664862119565]
リアクティブボトムアップテスト(Reactive Bottom-Up Testing)と呼ばれる新しいパラダイムを導入します。
私たちの洞察では、機能レベルのテストは必要だが、機能内の脆弱性の検証には不十分である。
本研究では,潜在的な機能を特定し,型とコンテキストを意識したハーネスを生成する3段階のボトムアップテスト手法を開発した。
論文 参考訳（メタデータ） (2025-09-03T20:54:43Z) - FaultLine: Automated Proof-of-Vulnerability Generation Using LLM Agents [17.658431034176065]
FaultLineはエージェントワークフローで、自動的にPoVテストケースを生成する。
言語固有の静的または動的分析コンポーネントは使用せず、プログラミング言語間で使用することができる。
Java、C、C++プロジェクトの既知の100の脆弱性のデータセット上で、FaultLineは16プロジェクトのPoVテストを生成することができる。
論文 参考訳（メタデータ） (2025-07-21T04:55:34Z) - Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。
実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
論文 参考訳（メタデータ） (2025-05-28T17:57:47Z) - Commit0: Library Generation from Scratch [77.38414688148006]
Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。
エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。
Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
論文 参考訳（メタデータ） (2024-12-02T18:11:30Z) - Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
不確実性定量化は機械学習アプリケーションにおいて重要な要素である。
最新のUQベースラインの集合を実装した新しいベンチマークを導入する。
我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
論文 参考訳（メタデータ） (2024-06-21T20:06:31Z) - Code-Aware Prompting: A study of Coverage Guided Test Generation in Regression Setting using LLM [32.44432906540792]
テスト生成における大規模言語モデルのコード認識促進戦略であるSymPromptを提案する。
SymPromptは、正しいテスト世代を5倍に増やし、CodeGen2の相対カバレッジを26%向上させる。
特に、GPT-4に適用すると、SymPromptはベースラインのプロンプト戦略に比べて2倍以上のカバレッジが向上する。
論文 参考訳（メタデータ） (2024-01-31T18:21:49Z) - How well does LLM generate security tests? [8.454827764115631]
開発者は生産性とソフトウェア品質を改善するために、しばしばサードパーティライブラリ(Lib)の上にソフトウェアを構築する。
こうした攻撃をサプライチェーン攻撃と呼び、2022年には742%増加した。
セキュリティテストを生成するためにChatGPT-4.0を使用しました。
論文 参考訳（メタデータ） (2023-10-01T16:00:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。