論文の概要: VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing Large Language Model Vulnerability Repair Capabilities

• arxiv url: http://arxiv.org/abs/2509.03331v1
• Date: Wed, 03 Sep 2025 14:06:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.541762
• Title: VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing Large Language Model Vulnerability Repair Capabilities
• Title（参考訳）: VulnRepairEval: 大規模言語モデルの脆弱性修復能力を評価するためのエクスプロイトベースの評価フレームワーク
• Authors: Weizhe Wang, Wei Ma, Qiang Hu, Yao Zhang, Jianfei Sun, Bin Wu, Yang Liu, Guangquan Xu, Lingxiao Jiang,
• Abstract要約: VulnRepairEvalは、関数型Proof-of-Conceptエクスプロイトに固定された評価フレームワークである。 我々のフレームワークは、再現可能な微分評価を可能にする包括的でコンテナ化された評価パイプラインを提供する。
• 参考スコア（独自算出の注目度）: 41.85494398578654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The adoption of Large Language Models (LLMs) for automated software vulnerability patching has shown promising outcomes on carefully curated evaluation sets. Nevertheless, existing datasets predominantly rely on superficial validation methods rather than exploit-based verification, leading to overestimated performance in security-sensitive applications. This paper introduces VulnRepairEval, an evaluation framework anchored in functional Proof-of-Concept (PoC) exploits. Our framework delivers a comprehensive, containerized evaluation pipeline that enables reproducible differential assessment, where repair success requires the original exploit to fail execution against the modified code. The benchmark construction involved extensive data curation: we processed over 400 CVEs and approximately 2,500 potential sources to extract a collection of authentic vulnerability instances (23 Python CVEs) amenable to automated testing with working PoCs. Through VulnRepairEval, we conduct a comprehensive evaluation of 12 popular LLMs and observe a significant performance deficit: even the top-performing model successfully addresses merely 5/23 instances (about 21.7%), exposing critical weaknesses in security-focused applications. Our failure analysis reveals that most unsuccessful attempts stem from imprecise vulnerability identification and patches containing syntactic or semantic errors. Enhanced prompting strategies and multi-agent approaches yield minimal improvements, with overall effectiveness remaining largely unaffected. This work contributes a stringent, practical evaluation framework for LLM-driven vulnerability remediation and underscores the necessity for assessment protocols that authentically reflect real-world exploitation scenarios.
• Abstract（参考訳）: ソフトウェア脆弱性パッチの自動パッチに対するLarge Language Models (LLMs)の採用は、慎重にキュレートされた評価セットに対して有望な結果を示している。 それでも既存のデータセットは、エクスプロイトベースの検証ではなく、表面的な検証方法に大きく依存しているため、セキュリティに敏感なアプリケーションではパフォーマンスが過大評価されている。 本稿では,関数型Proof-of-Concept(PoC)エクスプロイトに固定された評価フレームワークであるVulnRepairEvalを紹介する。 私たちのフレームワークは、再現可能な差分評価を可能にする包括的なコンテナ化評価パイプラインを提供しています。 私たちは400以上のCVEと約2,500の潜在的なソースを処理し、実際の脆弱性インスタンス(23のPython CVE)のコレクションを抽出し、動作中のPoCによる自動テストを可能にしました。 VulnRepairEvalを通じて、12の人気のあるLCMを総合的に評価し、大幅な性能低下を観察する。トップパフォーマンスモデルでさえ、単に5/23インスタンス(約21.7%)に対処することができ、セキュリティに重点を置くアプリケーションにおいて重大な弱点が明らかになる。 我々の失敗分析によると、最も失敗した試みは、不正確な脆弱性の識別と、構文的または意味的誤りを含むパッチに起因する。 プロンプト戦略の強化とマルチエージェントアプローチは最小限の改善をもたらすが、全体的な効果はほとんど影響を受けない。 この研究は、LLM駆動の脆弱性修復のための厳密で実践的な評価フレームワークを提供し、実世界の悪用シナリオを忠実に反映する評価プロトコルの必要性を浮き彫りにしている。

関連論文リスト

• LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
  静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。 LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。 LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
  論文  参考訳（メタデータ） (2025-08-07T14:46:30Z)
• LLMxCPG: Context-Aware Vulnerability Detection Through Code Property Graph-Guided Large Language Models [2.891351178680099]
  本稿では,コードプロパティグラフ(CPG)とLarge Language Models(LLM)を統合し,堅牢な脆弱性検出を行う新しいフレームワークを提案する。 より簡潔で正確なコードスニペット表現を提供するアプローチの能力は、より大きなコードセグメントの分析を可能にします。 実証的な評価は、検証済みデータセット間でLLMxCPGの有効性を示し、最先端のベースラインよりもF1スコアが15～40%改善されている。
  論文  参考訳（メタデータ） (2025-07-22T13:36:33Z)
• SecVulEval: Benchmarking LLMs for Real-World C/C++ Vulnerability Detection [8.440793630384546]
  大規模言語モデル(LLM)は、ソフトウェア工学のタスクにおいて有望であることを示している。 高品質なデータセットがないため、脆弱性検出の有効性を評価するのは難しい。 このベンチマークには、1999年から2024年までのC/C++プロジェクトで5,867のCVEをカバーする25,440の関数サンプルが含まれている。
  論文  参考訳（メタデータ） (2025-05-26T11:06:03Z)
• Advancing Embodied Agent Security: From Safety Benchmarks to Input Moderation [52.83870601473094]
  エンボディード・エージェントは、複数のドメインにまたがって大きな潜在能力を示す。 既存の研究は主に、一般的な大言語モデルのセキュリティに重点を置いている。 本稿では, エンボディエージェントの保護を目的とした新しい入力モデレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-22T08:34:35Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• Benchmarking LLMs and LLM-based Agents in Practical Vulnerability Detection for Code Repositories [8.583591493627276]
  JitVulは、各関数をその脆弱性導入とコミットの修正にリンクする脆弱性検出ベンチマークである。 思考・行動・観察と相互言語的文脈を活用するReAct Agentsは,良性のあるコードと区別する上で,LLMよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-03-05T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。