論文の概要: Vul4Py: Benchmarking Automated Vulnerability Repair in Python with Paired Exploit and Functional Oracles

• arxiv url: http://arxiv.org/abs/2608.00692v1
• Date: Sat, 01 Aug 2026 14:40:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.867508
• Title: Vul4Py: Benchmarking Automated Vulnerability Repair in Python with Paired Exploit and Functional Oracles
• Title（参考訳）: Vul4Py: Paired ExploitとFunctional OracleによるPythonの脆弱性の自動修復のベンチマーク
• Abstract要約: Vul4Pyは60のオープンソースプロジェクトから100の本当の脆弱性で構成されている。 我々は3つのカテゴリで6つのアプローチを比較した。特殊な脆弱性修復ツール、直接LLM、ソフトウェアエンジニアリングエージェントである。
• 参考スコア（独自算出の注目度）: 9.960802082438994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Vulnerability Repair (AVR) has advanced rapidly across program analysis, machine learning, and Large Language Models (LLMs), but a verifiable, head-to-head comparison of AVR approaches on Python is still missing. Python underpins critical web, data, and machine-learning infrastructure, yet existing Python benchmarks accept a patch on the strength of a proof-of-concept exploit alone, or apply a functional test only on the subset of entries whose upstream project happens to ship one. Both therefore miss functional regressions, in which a patch defeats the exploit but breaks unrelated behavior. We present Vul4Py, a Python AVR benchmark in which every entry carries a paired oracle: an exploit oracle that must fail on the vulnerable revision and pass on the fixed one, together with a project-native pytest functional oracle that must pass on both. Vul4Py comprises 100 real vulnerabilities from 60 open-source projects, spanning 60 distinct CWEs and the years 2017 to 2025, each packaged with a pinned, reproducible per-instance environment. Using Vul4Py, we compare six approaches in three categories: a specialized vulnerability repair tool, directly prompted LLMs, and software engineering agents. The agents dominate: OpenHands repairs 41 of 100 vulnerabilities, against 4 for the strongest directly prompted LLM and 2 for the specialized tool, despite all three sharing the same backbone model. The paired oracle is what makes these counts trustworthy: it rejects 15 of the 119 patches that an exploit-only oracle would accept, and 98 of the 104 patches it admits are manually confirmed to be semantically equivalent to the developer's patches
• Abstract（参考訳）: AVR(Automated Vulnerability repair)は、プログラム分析、機械学習、Large Language Models(LLM)を通じて急速に進歩している。 Pythonは重要なWeb、データ、機械学習インフラストラクチャを基盤としているが、既存のPythonベンチマークは概念実証エクスプロイトのみの強みに対するパッチを受け入れている。 したがって、どちらも機能的回帰を見逃し、パッチはエクスプロイトを破るが、無関係な振る舞いを壊す。 Vul4PyはPythonのAVRベンチマークで、すべてのエントリにペアのオラクル(脆弱性のあるリビジョンで失敗するエクスプロイトのオラクルと、両方をパスしなければならないプロジェクトネイティブのピスト関数のオラクル)が同梱されている。 Vul4Pyは60のオープンソースプロジェクトから100の実際の脆弱性で構成されており、60の異なるCWEと、2017年から2025年にかけて、それぞれにピン留めされた再現可能なインスタンス環境がパッケージされている。 Vul4Pyを使うと、特殊な脆弱性修復ツール、直接LLM、ソフトウェアエンジニアリングエージェントの3つのカテゴリで6つのアプローチを比較します。 OpenHandsは100の脆弱性のうち41を修復し、それぞれが同じバックボーンモデルを共有しているにも関わらず、LSMと2を最強の直接的誘導で4つ、特別なツールで2つにした。 エクスプロイトのみのオラクルが受け入れる119のパッチのうち15が拒否され、104のパッチのうち98が手動で、開発者のパッチとセマンティックに等価であると確認される。

関連論文リスト

• VEX-Bench: Benchmarking LLM Agents for Assessing Exploitability of Software Supply Chain Vulnerabilities [8.261542578922597]
  ソフトウェアサプライチェーン脆弱性の悪用性を評価できるLSMエージェントの能力を評価するための最初のベンチマークを紹介する。 VEX-Benchには、GitHubから発掘され、セキュリティの専門家によってラベル付けされた75の現実世界のケースが含まれており、Python、Java、Goをカバーしている。 GPT-5.5とClaude Opus 4.6はバイナリ脆弱性統計分類で約80%のF1に達したが、きめ細かい正当性分類で70%のマクロF1を超えたのはGPT-5.5のみである。
  論文  参考訳（メタデータ） (2026-09-07T22:52:09Z)
• LogicHunter: Testing LLM Agent Frameworks with an Agentic Oracle [6.653693552089508]
  LangChain、LlamaIndex、CrewAIといった大規模言語モデル(LLM)エージェントフレームワークは、実運用AIシステムを支える重要なインフラストラクチャになっています。 これらの純粋なPythonフレームワークの欠陥は、通常の例外やサイレントなセマンティックな失敗として現れ、深いオラクルの曖昧さを生み出します。 我々は、アクティブな仕様認識テストを通じて世代とオラクルの課題に対処するファジングフレームワークであるLogicHunterを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T12:21:42Z)
• Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
  クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。 我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。 我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
  論文  参考訳（メタデータ） (2026-06-29T18:00:45Z)
• ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
  低レベルのプログラム推論を必要とするため、爆発は難しい作業です。 その重要性と診断価値にもかかわらず、搾取は未評価のままである。 ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
  論文  参考訳（メタデータ） (2026-05-11T18:00:14Z)
• Patch2Vuln: Agentic Reconstruction of Vulnerabilities from Linux Distribution Binary Patches [3.93181912653522]
  本稿では,ローカルバイナリ由来の証拠に制限された言語モデルエージェントが,Linuxディストリビューション更新のセキュリティ意味を再構築できるかどうかを問う。 Patch2Vulnは、古い/新しいELFペアを抽出し、GhidraとGhidriffと拡散し、機能の変更をランク付けし、候補ドシエを構築し、オフラインエージェントに予備監査を生成する、ローカルで再利用可能なパイプラインである。 Patch2Vuln on 25 Ubuntu.deb package pairs: 20のセキュリティアップデートペアと5つの負のコントロール。
  論文  参考訳（メタデータ） (2026-05-07T17:22:22Z)
• Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
  大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。 我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。 LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
  論文  参考訳（メタデータ） (2026-05-07T13:52:59Z)
• PatchGuru: Patch Oracle Inference from Natural Language Artifacts with Large Language Models [16.633386478990037]
  PatchGuruは、実際のプルリクエスト(PR)から実行可能なパッチ仕様を推論する最初の自動テクニックである。 PRが与えられた後、PatchGuruは大規模な言語モデル(LLM)を使用してNLアーティファクトから開発者の意図を抽出し、パッチオークルを合成する。 PatchGuruは、プレパッチとポストパッチの動作を比較し、違反を特定し、自己レビューを通じて不整合をフィルタリングし、バグレポートを生成することで、推論されたオラクルを反復的に洗練する。
  論文  参考訳（メタデータ） (2026-02-05T03:48:17Z)
• Beyond Single Bugs: Benchmarking Large Language Models for Multi-Vulnerability Detection [1.2802720336459552]
  我々は,C,C++,Python,JavaScriptの4つの主要言語を対象としたマルチ脆弱性検出のベンチマークを紹介する。 長文コードサンプルに制御された脆弱性数を注入することにより,4万ファイルのデータセットを構築した。 その結果, 脆弱性密度の増加に伴い, 性能が著しく低下することが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-26T05:43:35Z)
• Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
  信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。 既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。 このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
  論文  参考訳（メタデータ） (2025-11-29T06:20:00Z)
• What Do They Fix? LLM-Aided Categorization of Security Patches for Critical Memory Bugs [46.325755802511026]
  我々は、LLM(Large Language Model)と細調整された小言語モデルに基づく2つのアプローチを統合するデュアルメタルパイプラインであるLMを開発した。 LMは、OOBまたはUAFの脆弱性に対処する最近のLinuxカーネルのパッチ5,140のうち111つを、手作業による検証によって90の正の正が確認された。
  論文  参考訳（メタデータ） (2025-09-26T18:06:36Z)
• An Empirical Study of Vulnerabilities in Python Packages and Their Detection [12.629138654621983]
  この記事では、Pythonパッケージの脆弱性の包括的なベンチマークスイートであるPyVulを紹介する。 PyVulには、公表された1,157の開発者認証脆弱性が含まれており、それぞれが影響を受けるパッケージにリンクされている。 ラベル精度を向上し、100%コミットレベルと94%関数レベルの精度を達成するために、LCM支援データクリーニング手法が組み込まれている。
  論文  参考訳（メタデータ） (2025-09-04T14:38:28Z)
• RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic Program Repair [75.40584530380589]
  新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。 RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。 RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
  論文  参考訳（メタデータ） (2023-09-12T08:52:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。