論文の概要: Classifier Calibration: with implications to threat scores in cybersecurity

• arxiv url: http://arxiv.org/abs/2102.05143v1
• Date: Tue, 9 Feb 2021 21:45:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 14:27:57.397899
• Title: Classifier Calibration: with implications to threat scores in cybersecurity
• Title（参考訳）: クラシファイア・キャリブレーション : サイバーセキュリティにおける脅威スコアとの関連
• Authors: Waleed A. Yousef, Issa Traore, William Briguglio
• Abstract要約: 本稿では,二項分類問題における分類器出力スコアの校正について検討する。 マルチスコア校正を導入し、より高次元に分類器のスコアを拡張することを提案する。 結果は、異なるキャリブレータと異なる構成で、全体的な勝者は存在しないことを示している。
• 参考スコア（独自算出の注目度）: 2.578242050187029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores the calibration of a classifier output score in binary classification problems. A calibrator is a function that maps the arbitrary classifier score, of a testing observation, onto $[0,1]$ to provide an estimate for the posterior probability of belonging to one of the two classes. Calibration is important for two reasons; first, it provides a meaningful score, that is the posterior probability; second, it puts the scores of different classifiers on the same scale for comparable interpretation. The paper presents three main contributions: (1) Introducing multi-score calibration, when more than one classifier provides a score for a single observation. (2) Introducing the idea that the classifier scores to a calibration process are nothing but features to a classifier, hence proposing extending the classifier scores to higher dimensions to boost the calibrator's performance. (3) Conducting a massive simulation study, in the order of 24,000 experiments, that incorporates different configurations, in addition to experimenting on two real datasets from the cybersecurity domain. The results show that there is no overall winner among the different calibrators and different configurations. However, general advices for practitioners include the following: the Platt's calibrator~\citep{Platt1999ProbabilisticOutputsForSupport}, a version of the logistic regression that decreases bias for a small sample size, has a very stable and acceptable performance among all experiments; our suggested multi-score calibration provides better performance than single score calibration in the majority of experiments, including the two real datasets. In addition, extending the scores can help in some experiments.
• Abstract（参考訳）: 本稿では,二項分類問題における分類器出力スコアのキャリブレーションについて検討する。 校正器(英: calibrator)とは、試験観測の任意の分類器スコアを$[0,1]$にマッピングし、2つのクラスのいずれかに属する後方確率を推定する関数である。 キャリブレーションは2つの理由から重要であり、第1に、後方確率である有意義なスコアを提供し、第2に、比較解釈のために異なる分類器のスコアを同じスケールに配置する。 この論文では、(1)複数の分類器が単一の観察のためにスコアを提供するときに、マルチスコアキャリブレーションを導入する。 2) 分類器スコアをキャリブレーションプロセスに導入することは, 分類器の特徴に過ぎず, 分類器スコアをより高い次元に拡張して校正器の性能を高めることを提案する。 3)サイバーセキュリティドメインの2つの実際のデータセットの実験に加えて,異なる構成を組み込んだ24,000の実験の順に,大規模なシミュレーション研究を行う。 結果は、異なるキャリブレータと異なる構成の間で全体的な勝者がないことを示しています。 しかし、実践者のための一般的なアドバイスは次の通りである: プラットのキャリブレータ~\citep{Platt1999確率出力ForSupport}、小さなサンプルサイズのバイアスを減らすロジスティック回帰のバージョンは、すべての実験の中で非常に安定して許容可能なパフォーマンスを持っています。 さらに、スコアを延ばすことは、いくつかの実験に役立つ。

関連論文リスト

• Confidence Calibration of Classifiers with Many Classes [5.018156030818883]
  ニューラルネットワークに基づく分類モデルでは、最大クラス確率が信頼スコアとしてしばしば使用される。 このスコアは正しい予測を行う確率を十分に予測することは滅多になく、後処理のキャリブレーションステップを必要とする。
  論文  参考訳（メタデータ） (2024-11-05T10:51:01Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Class-wise and reduced calibration methods [0.0]
  キャリブレーションの削減により、元の問題をより単純なものに変換する方法を示す。 第2に,ニューラル崩壊という現象に基づいて,クラスワイドキャリブレーション手法を提案する。 この2つの手法を併用すると、予測とクラスごとの校正誤差を低減する強力なツールであるクラス単位での校正アルゴリズムが実現される。
  論文  参考訳（メタデータ） (2022-10-07T17:13:17Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning [21.08664370117846]
  我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。 標準評価プラクティスの潜在的な問題も明らかにします。 我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
  論文  参考訳（メタデータ） (2020-03-16T17:00:35Z)
• Better Classifier Calibration for Small Data Sets [0.0]
  キャリブレーションのためのデータ生成により,キャリブレーションアルゴリズムの性能が向上することを示す。 提案手法は計算コストを増大させるが、主なユースケースは小さなデータセットであるので、この余分な計算コストは重要ではない。
  論文  参考訳（メタデータ） (2020-02-24T12:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。