論文の概要: FaultLine: Automated Proof-of-Vulnerability Generation Using LLM Agents
- arxiv url: http://arxiv.org/abs/2507.15241v1
- Date: Mon, 21 Jul 2025 04:55:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.259681
- Title: FaultLine: Automated Proof-of-Vulnerability Generation Using LLM Agents
- Title（参考訳）: FaultLine: LLMエージェントを用いた自動脆弱性生成
- Authors: Vikram Nitin, Baishakhi Ray, Roshanak Zilouchian Moghaddam,
- Abstract要約: FaultLineはエージェントワークフローで、自動的にPoVテストケースを生成する。
言語固有の静的または動的分析コンポーネントは使用せず、プログラミング言語間で使用することができる。
Java、C、C++プロジェクトの既知の100の脆弱性のデータセット上で、FaultLineは16プロジェクトのPoVテストを生成することができる。
- 参考スコア（独自算出の注目度）: 17.658431034176065
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite the critical threat posed by software security vulnerabilities, reports are often incomplete, lacking the proof-of-vulnerability (PoV) tests needed to validate fixes and prevent regressions. These tests are crucial not only for ensuring patches work, but also for helping developers understand how vulnerabilities can be exploited. Generating PoV tests is a challenging problem, requiring reasoning about the flow of control and data through deeply nested levels of a program. We present FaultLine, an LLM agent workflow that uses a set of carefully designed reasoning steps, inspired by aspects of traditional static and dynamic program analysis, to automatically generate PoV test cases. Given a software project with an accompanying vulnerability report, FaultLine 1) traces the flow of an input from an externally accessible API ("source") to the "sink" corresponding to the vulnerability, 2) reasons about the conditions that an input must satisfy in order to traverse the branch conditions encountered along the flow, and 3) uses this reasoning to generate a PoV test case in a feedback-driven loop. FaultLine does not use language-specific static or dynamic analysis components, which enables it to be used across programming languages. To evaluate FaultLine, we collate a challenging multi-lingual dataset of 100 known vulnerabilities in Java, C and C++ projects. On this dataset, FaultLine is able to generate PoV tests for 16 projects, compared to just 9 for CodeAct 2.1, a popular state-of-the-art open-source agentic framework. Thus, FaultLine represents a 77% relative improvement over the state of the art. Our findings suggest that hierarchical reasoning can enhance the performance of LLM agents on PoV test generation, but the problem in general remains challenging. We make our code and dataset publicly available in the hope that it will spur further research in this area.
- Abstract（参考訳）: ソフトウェアセキュリティの脆弱性によって引き起こされる重大な脅威にもかかわらず、報告はしばしば不完全であり、修正の検証と回帰の防止に必要なPoVテストが欠如している。
これらのテストは、パッチの動作を保証するだけでなく、開発者が脆弱性をどのように悪用するかを理解するのを助けるためにも重要である。
PoVテストの生成は難しい問題であり、プログラムの深いネストレベルからコントロールとデータのフローを推論する必要がある。
我々は、従来の静的および動的プログラム分析の側面にインスパイアされた、慎重に設計された推論ステップのセットを使用して、PoVテストケースを自動的に生成するLLMエージェントワークフローであるFactLineを提案する。
関連する脆弱性レポートを備えたソフトウェアプロジェクトであるFaultLine
1)外部アクセス可能なAPI(ソース)から脆弱性に対応する“シンク”への入力の流れをトレースする。
2 入力が流れに沿って遭遇する分岐条件を横切るためには、入力が満たさなければならない条件に関する理由及び
3) この推論を使って、フィードバック駆動のループでPoVテストケースを生成します。
FaultLineは言語固有の静的または動的分析コンポーネントを使用していないため、プログラミング言語間で使用することができる。
FaultLineを評価するために、Java、C、C++プロジェクトで100の既知の脆弱性の、挑戦的な多言語データセットを照合する。
このデータセットでは、FactLineは16のプロジェクトでPoVテストを生成することができる。CodeAct 2.1は、最先端のオープンソースエージェントフレームワークとして人気がある。
したがって、FaultLineは最先端よりも77%の相対的な改善を示している。
以上の結果から, 階層的推論はPoVテスト生成におけるLCMエージェントの性能を向上させることができるが, 一般には課題が残る。
この分野のさらなる研究を促進することを期待して、コードとデータセットを公開しています。
関連論文リスト
- Explicit Vulnerability Generation with LLMs: An Investigation Beyond Adversarial Attacks [0.5218155982819203]
大規模言語モデル(LLM)は、コードアシスタントとしてますます使われている。
本研究は、より直接的な脅威について検討する。オープンソースのLLMは、トリガー時に脆弱性のあるコードを生成する。
論文 参考訳（メタデータ） (2025-07-14T08:36:26Z) - Boosting Vulnerability Detection of LLMs via Curriculum Preference Optimization with Synthetic Reasoning Data [22.557961978833386]
本稿では,脆弱性パターンのマイニングに優れた大規模言語モデル(LLM)の新たなフレームワークを提案する。
具体的には、脆弱性と対応する固定コードに対する前方および後方の推論プロセスを構築し、高品質な推論データの合成を保証する。
ReVD は LLM ベースのソフトウェア脆弱性検出のための新たな最先端技術,例えば 12.24%-22.77% の精度向上を実現している。
論文 参考訳（メタデータ） (2025-06-09T03:25:23Z) - Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。
実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
論文 参考訳（メタデータ） (2025-05-28T17:57:47Z) - Helping LLMs Improve Code Generation Using Feedback from Testing and Static Analysis [3.892345568697058]
大規模言語モデル(LLM)は人工知能分野における最も有望な発展の1つである。
開発者は定期的にLCMにコードスニペットの生成を依頼し、生産性の向上に加えて、オーナシップ、プライバシ、正確性、セキュリティ問題も導入する。
以前の作業では、商用のLLMによって生成されたコードが、脆弱性やバグ、コードの臭いなど、安全でないことが強調されていた。
論文 参考訳（メタデータ） (2024-12-19T13:34:14Z) - VulnLLMEval: A Framework for Evaluating Large Language Models in Software Vulnerability Detection and Patching [0.9208007322096533]
大きな言語モデル(LLM)は、コード翻訳のようなタスクにおいて有望であることを示している。
本稿では,C コードの脆弱性を特定し,パッチする際の LLM の性能を評価するためのフレームワーク VulnLLMEval を紹介する。
私たちの研究には、Linuxカーネルから抽出された307の現実世界の脆弱性が含まれている。
論文 参考訳（メタデータ） (2024-09-16T22:00:20Z) - Leveraging Large Language Models for Efficient Failure Analysis in Game Development [47.618236610219554]
本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。
このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。
当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
論文 参考訳（メタデータ） (2024-06-11T09:21:50Z) - Vulnerability Detection with Code Language Models: How Far Are We? [40.455600722638906]
PrimeVulは、脆弱性検出のためのコードLMのトレーニングと評価のための新しいデータセットである。
これは、人間の検証されたベンチマークに匹敵するラベルの精度を達成する、新しいデータラベリング技術を含んでいる。
また、厳密なデータ重複解消戦略と時系列データ分割戦略を実装して、データの漏洩問題を軽減している。
論文 参考訳（メタデータ） (2024-03-27T14:34:29Z) - Software Vulnerability and Functionality Assessment using LLMs [0.8057006406834466]
我々は,Large Language Models (LLMs) がコードレビューに役立つかどうかを検討する。
我々の調査は、良質なレビューに欠かせない2つの課題に焦点を当てている。
論文 参考訳（メタデータ） (2024-03-13T11:29:13Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳（メタデータ） (2023-02-08T11:54:07Z) - Data-Driven Approach for Log Instruction Quality Assessment [59.04636530383049]
優れた品質特性を持つログ命令の記述方法に関するガイドラインは,広く採用されていない。
1)ログレベルの正確さを評価するための正しいログレベルの割り当てと,2)イベント記述の冗長化に必要な静的テキストの最小富度を評価する十分な言語構造である。
本手法は,F1スコア0.99の十分な言語構造を用いて,ログレベルの割当を精度0.88で正確に評価する。
論文 参考訳（メタデータ） (2022-04-06T07:02:23Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳（メタデータ） (2021-12-20T22:45:27Z) - D2A: A Dataset Built for AI-Based Vulnerability Detection Methods Using
Differential Analysis [55.15995704119158]
静的解析ツールによって報告されたラベル問題に対する差分解析に基づくアプローチであるD2Aを提案する。
D2Aを使用して大きなラベル付きデータセットを生成し、脆弱性識別のためのモデルをトレーニングします。
論文 参考訳（メタデータ） (2021-02-16T07:46:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。