論文の概要: Shedding Light on CVSS Scoring Inconsistencies: A User-Centric Study on Evaluating Widespread Security Vulnerabilities
- arxiv url: http://arxiv.org/abs/2308.15259v1
- Date: Tue, 29 Aug 2023 12:37:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 07:12:46.274008
- Title: Shedding Light on CVSS Scoring Inconsistencies: A User-Centric Study on Evaluating Widespread Security Vulnerabilities
- Title(参考訳): CVSSスコーディングの不整合性に対するシーディングライト:広帯域セキュリティ脆弱性の評価に関するユーザ中心的研究
- Authors: Julia Wunder, Andreas Kurtz, Christian Eichenmüller, Freya Gassmann, Zinaida Benenson,
- Abstract要約: CVSS(Common Vulnerability Scoring System)は、脆弱性管理における脆弱性の深刻さを評価する一般的な手法である。
CVSSの特定の指標が広範囲にわたる脆弱性タイプに対して不整合に評価されていることを示す。
本研究は,ほとんどの評価者はCVSSの問題点を自覚しているが,CVSSは依然として脆弱性評価に有用なツールであると考えている。
- 参考スコア(独自算出の注目度): 6.46853630952776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Common Vulnerability Scoring System (CVSS) is a popular method for evaluating the severity of vulnerabilities in vulnerability management. In the evaluation process, a numeric score between 0 and 10 is calculated, 10 being the most severe (critical) value. The goal of CVSS is to provide comparable scores across different evaluators. However, previous works indicate that CVSS might not reach this goal: If a vulnerability is evaluated by several analysts, their scores often differ. This raises the following questions: Are CVSS evaluations consistent? Which factors influence CVSS assessments? We systematically investigate these questions in an online survey with 196 CVSS users. We show that specific CVSS metrics are inconsistently evaluated for widespread vulnerability types, including Top 3 vulnerabilities from the ''2022 CWE Top 25 Most Dangerous Software Weaknesses'' list. In a follow-up survey with 59 participants, we found that for the same vulnerabilities from the main study, 68% of these users gave different severity ratings. Our study reveals that most evaluators are aware of the problematic aspects of CVSS, but they still see CVSS as a useful tool for vulnerability assessment. Finally, we discuss possible reasons for inconsistent evaluations and provide recommendations on improving the consistency of scoring.
- Abstract(参考訳): CVSS(Common Vulnerability Scoring System)は、脆弱性管理における脆弱性の深刻さを評価する一般的な手法である。
評価工程では、0〜10の数値スコアが算出され、10が最も重い(臨界)値となる。
CVSSの目標は、さまざまな評価指標に匹敵するスコアを提供することである。
脆弱性が複数のアナリストによって評価された場合、そのスコアはしばしば異なります。
CVSSの評価は一貫性があるか?
CVSS評価に影響を与える要因は何か?
CVSS利用者196名のオンライン調査において,これらの質問を体系的に調査した。
CVSSの特定の指標は、''2022 CWE Top 25 Most Dangerous Software Weaknesses'リストの上位3の脆弱性を含む、広範な脆弱性タイプに対して矛盾して評価されている。
59人の参加者によるフォローアップ調査では、本調査と同じ脆弱性に対して、これらのユーザの68%が、異なる重症度評価をしました。
本研究は,ほとんどの評価者はCVSSの問題点を自覚しているが,CVSSは依然として脆弱性評価に有用なツールであると考えている。
最後に,不整合評価の可能性を議論し,スコアの整合性を改善するためのレコメンデーションを提供する。
関連論文リスト
- Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳(メタデータ) (2024-04-19T16:45:50Z) - Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。
本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
論文 参考訳(メタデータ) (2024-03-21T10:31:11Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳(メタデータ) (2023-10-14T17:10:28Z) - Automated CVE Analysis for Threat Prioritization and Impact Prediction [4.540236408836132]
CVE分析と脅威優先順位付けに革命をもたらす新しい予測モデルとツール(CVEDrill)を導入する。
CVEDrillは、正確な脅威軽減と優先順位付けのために、CVSSベクターを正確に推定する。
CVEを適切なCommon Weaknession(CWE)階層クラスにシームレスに分類する。
論文 参考訳(メタデータ) (2023-09-06T14:34:03Z) - Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。
このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
論文 参考訳(メタデータ) (2023-08-03T12:47:17Z) - Evaluate What You Can't Evaluate: Unassessable Quality for Generated Response [56.25966921370483]
大規模な言語モデルに基づく参照不要評価器の使用には課題がある。
参照なし評価器は、異なるセマンティクス応答を持つオープンな例により適している。
対話応答の質を評価するため, LLM に基づく推論不要評価器の使用にはリスクがある。
論文 参考訳(メタデータ) (2023-05-24T02:52:48Z) - Vulnerability Prioritization: An Offensive Security Approach [1.6911982356562938]
脆弱性を優先順位付けする新しい方法を提案する。
私たちのアプローチは、攻撃的なセキュリティ実践者が侵入テストを実行する方法にインスパイアされています。
当社のアプローチを,大規模なクライアントを対象とした実世界のケーススタディと,プロセスのエンドツーエンド自動化のための機械学習の精度で評価する。
論文 参考訳(メタデータ) (2022-06-22T15:43:41Z) - On the Use of Fine-grained Vulnerable Code Statements for Software
Vulnerability Assessment Models [0.0]
実世界の200のプロジェクトで429のSVの1,782の関数から得られた大規模データを用いて,関数レベルのSVアセスメントタスクのための機械学習モデルを開発した。
脆弱な文のサイズは5.8倍小さいが、7.5-114.5%以上の評価性能を示す。
論文 参考訳(メタデータ) (2022-03-16T06:29:40Z) - CVSS-BERT: Explainable Natural Language Processing to Determine the
Severity of a Computer Security Vulnerability from its Description [0.0]
サイバーセキュリティの専門家は、CVSS(Common Vulnerability Scoring System)を用いて脆弱性の深刻度を分析する。
本稿では,NLP(Natural Language Processing)分野の最近の進歩を活用して,脆弱性のCVSSベクトルと関連する重大度スコアを説明可能な方法で決定することを提案する。
論文 参考訳(メタデータ) (2021-11-16T14:31:09Z) - DeepCVA: Automated Commit-level Vulnerability Assessment with Deep
Multi-task Learning [0.0]
本稿では、7つのコミットレベルの脆弱性評価タスクを同時に自動化する新しいDeep Multi-task Learning Model、DeepCVAを提案する。
実際のソフトウェアプロジェクト246のプロジェクトで,542の異なるSVを含む1,229の脆弱性コントリビュートコミットに対して大規模な実験を行った。
DeepCVAは、多くの教師なしベースラインモデルよりも38%から59.8%高いマシューズ相関係数を持つ最高の性能モデルである。
論文 参考訳(メタデータ) (2021-08-18T08:43:36Z) - Performance Evaluation of Adversarial Attacks: Discrepancies and
Solutions [51.8695223602729]
機械学習モデルの堅牢性に挑戦するために、敵対攻撃方法が開発されました。
本稿では,Piece-wise Sampling Curving(PSC)ツールキットを提案する。
psc toolkitは計算コストと評価効率のバランスをとるオプションを提供する。
論文 参考訳(メタデータ) (2021-04-22T14:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。