論文の概要: Top Score on the Wrong Exam: On Benchmarking in Machine Learning for Vulnerability Detection
- arxiv url: http://arxiv.org/abs/2408.12986v1
- Date: Fri, 23 Aug 2024 11:08:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 15:20:16.348217
- Title: Top Score on the Wrong Exam: On Benchmarking in Machine Learning for Vulnerability Detection
- Title（参考訳）: Wrong Examのトップスコア:脆弱性検出のための機械学習のベンチマークについて
- Authors: Niklas Risse, Marcel Böhme,
- Abstract要約: 我々は、最も人気のあるML4VDデータセットにおいて、脆弱な機能と非脆弱性な機能の両方について研究する。
ほとんどすべてのケースにおいて、この決定は、それ以上の文脈なしでは行われない。
ML4VDの現在の問題ステートメントは未定義であり、この成長する作業体の内部的妥当性に疑問を呈する。
- 参考スコア（独自算出の注目度）: 12.529028629599349
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: According to our survey of the machine learning for vulnerability detection (ML4VD) literature published in the top Software Engineering conferences, every paper in the past 5 years defines ML4VD as a binary classification problem: Given a function, does it contain a security flaw? In this paper, we ask whether this decision can really be made without further context and study both vulnerable and non-vulnerable functions in the most popular ML4VD datasets. A function is vulnerable if it was involved in a patch of an actual security flaw and confirmed to cause the vulnerability. It is non-vulnerable otherwise. We find that in almost all cases this decision cannot be made without further context. Vulnerable functions are often vulnerable only because a corresponding vulnerability-inducing calling context exists while non-vulnerable functions would often be vulnerable if a corresponding context existed. But why do ML4VD techniques perform so well even though there is demonstrably not enough information in these samples? Spurious correlations: We find that high accuracy can be achieved even when only word counts are available. This shows that these datasets can be exploited to achieve high accuracy without actually detecting any security vulnerabilities. We conclude that the current problem statement of ML4VD is ill-defined and call into question the internal validity of this growing body of work. Constructively, we call for more effective benchmarking methodologies to evaluate the true capabilities of ML4VD, propose alternative problem statements, and examine broader implications for the evaluation of machine learning and programming analysis research.
- Abstract（参考訳）: トップソフトウェアエンジニアリングカンファレンスで発表された機械学習による脆弱性検出(ML4VD)の文献の調査によると、過去5年間のすべての論文は、ML4VDをバイナリ分類の問題として定義している。
本稿では,ML4VDデータセットの脆弱性機能と非脆弱性機能の両方について検討する。
実際のセキュリティ欠陥のパッチに関係していた場合、関数は脆弱性であり、脆弱性の原因であることが確認される。
それ以外の場合は無効である。
ほとんどすべてのケースにおいて、この決定は、それ以上の文脈なしでは行われない。
Vulnerable関数は、対応する脆弱性を誘発するコールコンテキストが存在するためのみ脆弱性がある場合が多いが、非脆弱性関数は、対応するコンテキストが存在する場合に脆弱性がある場合が多い。
しかし、なぜML4VD技術は、これらのサンプルに十分な情報がないにもかかわらず、そんなにうまく機能するのか?
Spurious correlations: 単語数しか得られなくても高い精度が達成できることがわかった。
これは、これらのデータセットが、セキュリティ上の脆弱性を実際に検出することなく、高い精度を達成するために利用されることを示している。
ML4VDの現在の問題ステートメントは未定義であり、この成長する作業体の内部的妥当性に疑問を呈する。
構成的には、ML4VDの真の能力を評価し、代替問題ステートメントを提案し、機械学習とプログラミング分析研究の幅広い影響を検討するために、より効果的なベンチマーク手法を求める。
関連論文リスト
- AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。
以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
論文 参考訳（メタデータ） (2024-11-02T13:24:30Z) - ANVIL: Anomaly-based Vulnerability Identification without Labelled Training Data [5.938113434208745]
教師付き学習ベースのソフトウェア脆弱性検出装置は、ラベル付きトレーニングデータの不十分な可用性のために、しばしば不足する。
本稿では,脆弱性検出を異常検出の1つとして再検討する。
我々のアプローチは、ラインレベルの脆弱性検出タスクにおいて、1.62times$から2.18times$より優れたトップ5アキュラシー、1.02times$から1.29times$より優れたROCスコアを達成する。
論文 参考訳（メタデータ） (2024-08-28T03:28:17Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳（メタデータ） (2024-07-15T23:41:11Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。
まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z) - Security Vulnerability Detection with Multitask Self-Instructed Fine-Tuning of Large Language Models [8.167614500821223]
脆弱性検出のためのMSIVD, マルチタスクによる自己指示型微調整を, チェーン・オブ・シント・プロンプトとLDMによる自己指示にインスパイアした。
実験の結果,MSIVDは高い性能を示し,LineVul(LLMベースの脆弱性検出ベースライン)はBigVulデータセットでは0.92点,PreciseBugsデータセットでは0.48点であった。
論文 参考訳（メタデータ） (2024-06-09T19:18:05Z) - Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。
全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。
ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-11-16T13:17:20Z) - Uncovering the Limits of Machine Learning for Automatic Vulnerability Detection [12.529028629599349]
本稿では,ML4VD技術の真の性能と限界をよりよく評価するための新しいベンチマーク手法を提案する。
6つのML4VD技術と2つのデータセットを使用して、(a)テストデータの脆弱性を予測するために、最先端のモデルが無関係な機能に過度に適合していること、(b)データ拡張によって得られるパフォーマンスが、トレーニング中に適用される特定の拡張を超えて一般化されないことを発見した。
論文 参考訳（メタデータ） (2023-06-28T08:41:39Z) - A Survey on Automated Software Vulnerability Detection Using Machine
Learning and Deep Learning [19.163031235081565]
近年、ソースコードの脆弱性を検出する機械学習(ML)とディープラーニング(DL)ベースのモデルが提示されている。
既存の研究のギャップを見つけることは困難であり、総合的な調査をせずに将来の改善の可能性を見出すのは難しいかもしれない。
この作業は、ML/DLベースのソースコードレベルソフトウェア脆弱性検出アプローチの様々な特徴を特徴付けるための体系的な調査を提示することで、そのギャップに対処する。
論文 参考訳（メタデータ） (2023-06-20T16:51:59Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。
ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。
しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
論文 参考訳（メタデータ） (2022-02-12T04:16:41Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳（メタデータ） (2021-12-20T22:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。