論文の概要: VADER: A Human-Evaluated Benchmark for Vulnerability Assessment, Detection, Explanation, and Remediation

• arxiv url: http://arxiv.org/abs/2505.19395v1
• Date: Mon, 26 May 2025 01:20:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.091293
• Title: VADER: A Human-Evaluated Benchmark for Vulnerability Assessment, Detection, Explanation, and Remediation
• Title（参考訳）: VADER: 脆弱性評価、検出、説明、修正のための人間評価ベンチマーク
• Authors: Ethan TS. Liu, Austin Wang, Spencer Mateega, Carlos Georgescu, Danny Tang,
• Abstract要約: VADERは174の現実世界のソフトウェア脆弱性で構成されており、それぞれがGitHubから慎重にキュレーションされ、セキュリティ専門家によって注釈付けされている。 各脆弱性ケースに対して、モデルは欠陥を特定し、Common Weaknession(CWE)を使用して分類し、その根本原因を説明し、パッチを提案し、テストプランを策定する。 ワンショットプロンプト戦略を用いて、VADER上で6つの最先端LCM(Claude 3.7 Sonnet, Gemini 2.5 Pro, GPT-4.1, GPT-4.5, Grok 3 Beta, o3)をベンチマークする。 我々の結果は現在の状態を示している。
• 参考スコア（独自算出の注目度）: 0.8087612190556891
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Ensuring that large language models (LLMs) can effectively assess, detect, explain, and remediate software vulnerabilities is critical for building robust and secure software systems. We introduce VADER, a human-evaluated benchmark designed explicitly to assess LLM performance across four key vulnerability-handling dimensions: assessment, detection, explanation, and remediation. VADER comprises 174 real-world software vulnerabilities, each carefully curated from GitHub repositories and annotated by security experts. For each vulnerability case, models are tasked with identifying the flaw, classifying it using Common Weakness Enumeration (CWE), explaining its underlying cause, proposing a patch, and formulating a test plan. Using a one-shot prompting strategy, we benchmark six state-of-the-art LLMs (Claude 3.7 Sonnet, Gemini 2.5 Pro, GPT-4.1, GPT-4.5, Grok 3 Beta, and o3) on VADER, and human security experts evaluated each response according to a rigorous scoring rubric emphasizing remediation (quality of the code fix, 50%), explanation (20%), and classification and test plan (30%) according to a standardized rubric. Our results show that current state-of-the-art LLMs achieve only moderate success on VADER - OpenAI's o3 attained 54.7% accuracy overall, with others in the 49-54% range, indicating ample room for improvement. Notably, remediation quality is strongly correlated (Pearson r > 0.97) with accurate classification and test plans, suggesting that models that effectively categorize vulnerabilities also tend to fix them well. VADER's comprehensive dataset, detailed evaluation rubrics, scoring tools, and visualized results with confidence intervals are publicly released, providing the community with an interpretable, reproducible benchmark to advance vulnerability-aware LLMs. All code and data are available at: https://github.com/AfterQuery/vader
• Abstract（参考訳）: 大きな言語モデル(LLM)がソフトウェアの脆弱性を効果的に評価し、検出し、説明し、修正できることを保証することは、堅牢でセキュアなソフトウェアシステムを構築する上で重要である。 VADERは、評価、検出、説明、修正の4つの主要な脆弱性処理領域にわたるLSM性能を明示的に評価するために設計された人為評価ベンチマークである。 VADERは174の現実世界のソフトウェア脆弱性で構成されており、それぞれがGitHubリポジトリから慎重にキュレーションされ、セキュリティ専門家によって注釈付けされている。 各脆弱性ケースに対して、モデルは欠陥を特定し、CWE(Common Weakness Enumeration)を使用して分類し、その根本原因を説明し、パッチを提案し、テストプランを定式化する。 ワンショットプロンプト戦略を用いて、VADER上で6つの最先端LCM(Claude 3.7 Sonnet, Gemini 2.5 Pro, GPT-4.1, GPT-4.5, Grok 3 Beta, o3)をベンチマークし、標準化されたルーリックに従って修正(修正の質、50%、説明(20%)、分類とテスト計画(30%)を強調した。 以上の結果から,現在のLLMはVADERで適度に成功し,OpenAIのo3は全体の54.7%の精度を達成し,49-54%の範囲で改善の余地は十分にあることがわかった。 特に、修復品質は正確な分類とテスト計画と強く相関しており(Pearson r > 0.97)、脆弱性を効果的に分類するモデルも修正する傾向があることを示唆している。 VADERの包括的なデータセット、詳細な評価ルーブリック、スコアリングツール、信頼区間のある視覚化結果が公開され、コミュニティが脆弱性を意識したLSMを前進させるための解釈可能な再現可能なベンチマークを提供する。 すべてのコードとデータは、https://github.com/AfterQuery/vader.comで入手できる。

関連論文リスト

• SecVulEval: Benchmarking LLMs for Real-World C/C++ Vulnerability Detection [8.440793630384546]
  大規模言語モデル(LLM)は、ソフトウェア工学のタスクにおいて有望であることを示している。 高品質なデータセットがないため、脆弱性検出の有効性を評価するのは難しい。 このベンチマークには、1999年から2024年までのC/C++プロジェクトで5,867のCVEをカバーする25,440の関数サンプルが含まれている。
  論文  参考訳（メタデータ） (2025-05-26T11:06:03Z)
• aiXamine: Simplified LLM Safety and Security [7.933485586826888]
  安全とセキュリティのための総合的なブラックボックス評価プラットフォームであるaiXamineについて紹介する。 AiXamineは40以上のテスト(ベンチマーク)を、特定の安全性とセキュリティをターゲットとした8つの重要なサービスに統合する。 プラットフォームは、評価結果をモデル毎の1つの詳細なレポートに集約し、モデルパフォーマンス、テスト例、リッチな視覚化を提供する。
  論文  参考訳（メタデータ） (2025-04-21T09:26:05Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark [57.999567012489706]
  我々は,MMLU-CFと呼ばれる汚染のない,より困難なベンチマークを提案する。 このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。 GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% しか達成できない。
  論文  参考訳（メタデータ） (2024-12-19T18:58:04Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
  5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。 全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。 ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-16T13:17:20Z)
• Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
  本稿では,Flamesという値アライメントベンチマークを提案する。 一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。 以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
  論文  参考訳（メタデータ） (2023-11-12T17:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。