論文の概要: Is $F_1$ Score Suboptimal for Cybersecurity Models? Introducing $C_{score}$, a Cost-Aware Alternative for Model Assessment
- arxiv url: http://arxiv.org/abs/2407.14664v2
- Date: Wed, 31 Jul 2024 15:03:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 19:55:28.170277
- Title: Is $F_1$ Score Suboptimal for Cybersecurity Models? Introducing $C_{score}$, a Cost-Aware Alternative for Model Assessment
- Title（参考訳）: F_1$Score Suboptimal for Cybersecurity Models? $C_{score}$の紹介
- Authors: Manish Marwah, Asad Narayanan, Stephan Jou, Martin Arlitt, Maria Pospelova,
- Abstract要約: 偽陽性と偽陰性は等しくなく、応用に依存している。
サイバーセキュリティアプリケーションでは、攻撃を検知しないコストは、攻撃として良心的な活動をマークすることとは大きく異なる。
我々は、精度とリコールに基づいて、新しいコスト対応メトリックである$C_score$を提案する。
- 参考スコア（独自算出の注目度）: 1.747623282473278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The cost of errors related to machine learning classifiers, namely, false positives and false negatives, are not equal and are application dependent. For example, in cybersecurity applications, the cost of not detecting an attack is very different from marking a benign activity as an attack. Various design choices during machine learning model building, such as hyperparameter tuning and model selection, allow a data scientist to trade-off between these two errors. However, most of the commonly used metrics to evaluate model quality, such as $F_1$ score, which is defined in terms of model precision and recall, treat both these errors equally, making it difficult for users to optimize for the actual cost of these errors. In this paper, we propose a new cost-aware metric, $C_{score}$ based on precision and recall that can replace $F_1$ score for model evaluation and selection. It includes a cost ratio that takes into account the differing costs of handling false positives and false negatives. We derive and characterize the new cost metric, and compare it to $F_1$ score. Further, we use this metric for model thresholding for five cybersecurity related datasets for multiple cost ratios. The results show an average cost savings of 49%.
- Abstract（参考訳）: 機械学習分類器、すなわち偽陽性と偽陰性に関する誤差のコストは等しくなく、応用に依存している。
例えば、サイバーセキュリティアプリケーションでは、攻撃を検知しないコストは、攻撃として良心的な活動をマークすることとは大きく異なる。
ハイパーパラメータチューニングやモデル選択など、機械学習モデル構築時のさまざまな設計選択により、データサイエンティストはこの2つのエラー間でトレードオフを行うことができる。
しかし、モデルの精度とリコールの観点から定義される$F_1$ scoreのような、モデル品質を評価するために一般的に使用される指標のほとんどは、これらのエラーを等しく扱い、ユーザがこれらのエラーの実際のコストに対して最適化することが困難である。
本稿では,モデル評価と選択のためにF_1$スコアを置き換える,精度とリコールに基づく新しいコスト対応メトリック,$C_{score}$を提案する。
これには、偽陽性と偽陰性を扱うコストの相違を考慮したコスト比が含まれる。
我々は、新しいコストメトリックを導出し、特徴付けし、それを$F_1$スコアと比較する。
さらに,この指標を,複数コスト比で5つのサイバーセキュリティ関連データセットのしきい値設定に用いた。
その結果、平均的なコスト削減率は49%であった。
関連論文リスト
- UniMatch: A Unified User-Item Matching Framework for the Multi-purpose
Merchant Marketing [27.459774494479227]
1つのモデルでアイテムレコメンデーションとユーザターゲティングを同時に行うために,統合されたユーザイテムマッチングフレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して大幅に性能が向上し、計算資源や日々のメンテナンスにかかるコストが大幅に削減された。
論文 参考訳（メタデータ） (2023-07-19T13:49:35Z) - The Projected Covariance Measure for assumption-lean variable significance testing [3.8936058127056357]
単純だが一般的なアプローチは、線形モデルを指定し、次に$X$の回帰係数が 0 でないかどうかをテストすることである。
条件付き平均独立性のモデルフリーなnullをテストする問題、すなわち条件付き平均の$Y$$$X$と$Z$は$X$に依存しない。
本稿では,加法モデルやランダムフォレストなど,柔軟な非パラメトリックあるいは機械学習手法を活用可能な,シンプルで汎用的なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-03T17:55:50Z) - PL-$k$NN: A Parameterless Nearest Neighbors Classifier [0.24499092754102875]
k$-Nearest Neighborsは、多くの問題で使われている最も効果的で簡単なモデルの1つである。
本稿では、$k$の値を定義する必要性を回避した$k$-Nearest Neighbors分類器を提案する。
論文 参考訳（メタデータ） (2022-09-26T12:52:45Z) - Bayesian Target-Vector Optimization for Efficient Parameter
Reconstruction [0.0]
対象ベクトル最適化方式を導入し,モデル関数のコントリビューションのすべてについて検討し,パラメータ再構成問題に特に適している。
また、実際のモデル関数の観測がほとんどない正確な不確実性推定を決定できる。
論文 参考訳（メタデータ） (2022-02-23T15:13:32Z) - Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。
CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
論文 参考訳（メタデータ） (2021-12-17T18:59:41Z) - Low-Cost Algorithmic Recourse for Users With Uncertain Cost Functions [74.00030431081751]
本稿では,ユーザ固有のコスト関数の概念を定式化し,ユーザのための行動可能なリコースを識別する新しい手法を提案する。
本手法は,強いベースライン法に比べて最大25.89パーセントのユーザを満足させる。
論文 参考訳（メタデータ） (2021-11-01T19:49:35Z) - Online Selective Classification with Limited Feedback [82.68009460301585]
オンライン学習モデルにおいて、予測者がインスタンスの分類を控える可能性のある選択的分類について検討する。
私たちが考慮している設定の健全な2つの側面は、データが不可避である可能性があるため、データは不可避である可能性があるということです。
smash$tildeO(T1-mu)$ over abstention against Adaptive adversaries. smash$tildeO(T1-mu)$ incurring smash$tildeO(T1-mu)$ over abstention。
論文 参考訳（メタデータ） (2021-10-27T08:00:53Z) - Inconsistent Few-Shot Relation Classification via Cross-Attentional
Prototype Networks with Contrastive Learning [16.128652726698522]
本稿では,Prototype Network-based Cross-attention contrastive Learning (ProtoCACL)を提案する。
実験結果から,我々のProtoCACLは,非一貫性な$K$と非一貫性な$N$設定の両方で,最先端のベースラインモデルより優れていることが示された。
論文 参考訳（メタデータ） (2021-10-13T07:47:13Z) - On the Importance of Adaptive Data Collection for Extremely Imbalanced
Pairwise Tasks [94.23884467360521]
我々は、QQPとWikiQAでトレーニングされた最先端技術モデルが、現実的に不均衡なテストデータで評価された場合、それぞれ平均精度が2.4%しか持たないことを示した。
より有益なネガティブな例でバランスのとれたトレーニングデータを作成することで、アクティブラーニングは平均精度をQQPで32.5%、WikiQAで20.1%に大幅に改善する。
論文 参考訳（メタデータ） (2020-10-10T21:56:27Z) - AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。
提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
論文 参考訳（メタデータ） (2020-08-16T11:36:11Z) - The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。
我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。
3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
論文 参考訳（メタデータ） (2020-04-16T04:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。