論文の概要: On the Reliability of LLM-Based Vulnerability Patching Benchmarks

• arxiv url: http://arxiv.org/abs/2610.10150v1
• Date: Wed, 07 Oct 2026 14:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.958846
• Title: On the Reliability of LLM-Based Vulnerability Patching Benchmarks
• Title（参考訳）: LLMに基づく脆弱性対応ベンチマークの信頼性について
• Abstract要約: 大規模言語モデル(LLM)は、自動脆弱性パッチの強い可能性を示しているが、現在のベンチマークでは、報告されたパフォーマンスを歪めることができる。 エージェントレベルファクター、フレームワークレベルファクター、データセットレベルファクターの3つの次元にまたがる落とし穴を特定します。 84のオープンソースC/C++、Go、Rustプロジェクトの112の歴史的なバグを、それぞれPoCテスト、回帰テスト、追加の開発者テストでキュレートしています。
• 参考スコア（独自算出の注目度）: 8.568411617465516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have shown strong potential for automated vulnerability patching, but current benchmarks can substantially distort reported performance. Drawing on extensive experience developing, running, and stress-testing such frameworks, we identify under-examined pitfalls across three dimensions: (1) agent-level factors, where prompting, tool availability, and detailed instructions can raise success rates without improving developer-aligned patch quality; (2) framework-level factors, where permission errors, infrastructure bugs, and timeout handling can silently suppress or inflate performance; and (3) dataset-level factors, where bug reports and single proof-of-concept (PoC) tests fail to capture whether patches address root causes or follow developer intent. We curate 112 historical bugs from 84 open-source C/C++, Go, and Rust projects, each with PoC tests, regression tests, and additional developer tests that assess alignment with the original developers' design principles. Through controlled experiments and case studies, we show that LLMs can achieve high PoC passing rates under ideal conditions, yet benchmark execution choices can materially change measured success. More importantly, developer-test passing rates remain low and improve only marginally with newer models, suggesting that models increasingly suppress symptoms without consistently producing upstream-quality fixes. These results show that benchmark scores are highly sensitive to evaluation design, and we provide practical guidelines for more rigorous, reliable, and reproducible evaluation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自動脆弱性パッチの強い可能性を示しているが、現在のベンチマークでは、報告されたパフォーマンスを著しく歪めることができる。 1)プロンプト,ツールの可用性,詳細な指示といったエージェントレベルの要因が,開発者によるパッチ品質の向上を伴わずに成功率を高めることができること,(2)パーミッションエラーやインフラストラクチャのバグ,タイムアウト処理といったフレームワークレベルの要因が,パフォーマンスを静かに抑制あるいは向上させることができること,(3) バグレポートと単一概念実証(PoC)テストが,パッチアドレスの根本原因や開発者の意図に従わないようなデータセットレベルの要因がないこと,である。 84のオープンソースC/C++、Go、Rustのプロジェクトから112の歴史的なバグをキュレートし、それぞれがPoCテスト、回帰テスト、そして元の開発者の設計原則と整合性を評価する追加の開発者テストを使っています。 制御された実験とケーススタディにより, LLMは理想条件下で高いPoC通過率を達成できるが, ベンチマークによる実行選択は測定された成功を実質的に変化させることができることを示す。 さらに重要なのは、開発者テストのパスレートが低いままで、新しいモデルではわずかに改善されていることだ。 これらの結果は,ベンチマークスコアが評価設計に非常に敏感であることを示し,より厳密で信頼性があり再現可能な評価のための実践的ガイドラインを提供する。

関連論文リスト

• CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents [66.9575676266637]
  大規模言語モデル(LLM)エージェントは、長期的、インタラクティブでステートフルな環境にますますデプロイされている。 これらの設定では、間違った購入を返金するなどの1つの間違ったアクションは、不可逆なタスクの失敗を引き起こし、実行前にインターセプトされなければならない。 CASTは、スパースタスクの結果を批判学習と政策最適化のためのアクションレベル監視に変換する、批判に意識したトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-08-31T01:59:51Z)
• REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming [0.0]
  大規模な言語モデル(LLM)は、リバースエンジニアリングタスクにますます適用されている。 しかし、彼らの能力に関する主張は、それを測定する能力よりも優れている。 本稿では,関数レベル基底真理をCソースから構築する証明追跡パイプラインであるReforgeを提案する。
  論文  参考訳（メタデータ） (2026-07-07T23:17:03Z)
• An Empirical Study of Security Calibration in Large Language Models for Code [5.167904179040144]
  LLM生成コードにおけるセキュリティキャリブレーションに関する大規模な実証的研究を行った。 複数のベンチマークでGPT-4o-mini, Gemini-2.0-Flash, Qwen3-Coder-Nextを評価した。 以上の結果から,評価されたLSMでは過信が一般的であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-30T05:37:39Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
  Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。 kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。 kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
  論文  参考訳（メタデータ） (2026-02-02T19:06:15Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• The Vulnerability of Language Model Benchmarks: Do They Accurately Reflect True LLM Performance? [1.3810901729134184]
  大きな言語モデル(LLM)は、真の言語理解と適応性を示すのに失敗しながら、標準化されたテストで優れている。 NLP評価フレームワークの系統的解析により,評価スペクトルにまたがる広範囲にわたる脆弱性が明らかになった。 我々は、操作に抵抗し、データの汚染を最小限に抑え、ドメイン固有のタスクを評価する新しい評価方法の土台を築いた。
  論文  参考訳（メタデータ） (2024-12-02T20:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。