論文の概要: Meta Pattern Concern Score: A Novel Metric for Customizable Evaluation
of Multi-classification
- arxiv url: http://arxiv.org/abs/2209.06408v1
- Date: Wed, 14 Sep 2022 04:28:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-15 13:45:49.344635
- Title: Meta Pattern Concern Score: A Novel Metric for Customizable Evaluation
of Multi-classification
- Title（参考訳）: meta pattern concern score: カスタマイズ可能なマルチクラス化評価のための新しいメトリクス
- Authors: Yanyun Wang, Dehui Du, Yuanhao Liu
- Abstract要約: 混乱行列と損失関数に基づく2種類のメトリクスは、柔軟性と数学的完全性において異なる利点を持つ。
本稿では,確率的予測の抽象的表現に基づくメタパターン関連スコア(Meta Pattern Concern Score)を提案する。
私たちのメトリクスは、異なるプラクティスで特定の要求に対してモデルを選択できるカスタマイズ性を提供します。
- 参考スコア（独自算出の注目度）: 1.5039745292757671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classifiers have been widely implemented in practice, while how to evaluate
them properly remains a problem. Commonly used two types of metrics
respectively based on confusion matrix and loss function have different
advantages in flexibility and mathematical completeness, while they struggle in
different dilemmas like the insensitivity to slight improvements or the lack of
customizability in different tasks. In this paper, we propose a novel metric
named Meta Pattern Concern Score based on the abstract representation of the
probabilistic prediction, as well as the targeted design for processing
negative classes in multi-classification and reducing the discreteness of
metric value, to achieve advantages of both the two kinds of metrics and avoid
their weaknesses. Our metric provides customizability to pick out the model for
specific requirements in different practices, and make sure it is also fine
under traditional metrics at the same time. Evaluation in four kinds of models
and six datasets demonstrates the effectiveness and efficiency of our metric,
and a case study shows it can select a model to reduce 0.53% of dangerous
misclassifications by sacrificing only 0.04% of training accuracy.
- Abstract（参考訳）: 分類器は実際に広く実装されているが、適切に評価する方法は問題である。
一般に、混乱行列と損失関数に基づく2種類のメトリクスは、柔軟性と数学的完全性において異なる利点を持つが、わずかな改善に対する無感や、異なるタスクでのカスタマイズ性の欠如といった異なるジレンマに苦しむ。
本稿では,確率的予測の抽象的表現に基づくメタパターン関心度スコアと,多クラス化における負クラス処理のターゲット設計と,メトリクス値の離散性を低減し,両者の利点を享受し,その弱点を回避するための新しい指標であるメタパターン関心度スコアを提案する。
当社のメトリクスは、異なるプラクティスの特定の要求に対してモデルを選択し、従来のメトリクスの下でも、同時に正常であることを確認するためのカスタマイズ性を提供します。
4種類のモデルと6つのデータセットによる評価は、我々のメトリックの有効性と効率を実証し、ケーススタディでは、トレーニング精度の0.04%を犠牲にして、危険な誤分類の0.53%を削減するモデルを選択することができる。
関連論文リスト
- A Large-Scale Neutral Comparison Study of Survival Models on Low-Dimensional Data [7.199059106376138]
この研究は、単一イベント、右検閲、低次元生存データに焦点を当てた最初の大規模な中性ベンチマーク実験を示す。
我々は、32の公開データセット上で、古典的な統計的アプローチから多くの一般的な機械学習手法まで、18のモデルをベンチマークした。
論文 参考訳（メタデータ） (2024-06-06T14:13:38Z) - Small Effect Sizes in Malware Detection? Make Harder Train/Test Splits! [51.668411293817464]
業界関係者は、モデルが数億台のマシンにデプロイされているため、マルウェア検出精度の小さな改善に気を配っている。
学術研究はしばしば1万のサンプルの順序で公開データセットに制限される。
利用可能なサンプルのプールから難易度ベンチマークを生成するためのアプローチを考案する。
論文 参考訳（メタデータ） (2023-12-25T21:25:55Z) - Tightening the Approximation Error of Adversarial Risk with Auto Loss
Function Search [12.263913626161155]
一般的な評価手法は、モデルの逆方向リスクをロバスト性指標として近似することである。
本稿では,エラーを厳格化するための損失関数を探索する最初の手法であるAutoLoss-ARを提案する。
その結果,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2021-11-09T11:47:43Z) - Learning from Similarity-Confidence Data [94.94650350944377]
類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。
本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
論文 参考訳（メタデータ） (2021-02-13T07:31:16Z) - Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。
3つの設定でミニマックスレート・オプティマティックな手順を開発。
論文 参考訳（メタデータ） (2021-01-19T18:55:29Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳（メタデータ） (2020-10-26T01:44:20Z) - Rethinking Empirical Evaluation of Adversarial Robustness Using
First-Order Attack Methods [6.531546527140473]
境界1次攻撃法に対する逆算精度の過大評価につながる3つの一般的な事例を同定する。
本稿では,不正確な勾配計算の源泉に対処する補償手法を提案する。
全体として、従来の訓練されたディープニューラルネットワークにおいても、ロバスト性を示すものではない敵の精度が過大評価されていることを示す。
論文 参考訳（メタデータ） (2020-06-01T22:55:09Z) - An Investigation of Why Overparameterization Exacerbates Spurious
Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。
モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文 参考訳（メタデータ） (2020-05-09T01:59:13Z) - Uncertainty-Gated Stochastic Sequential Model for EHR Mortality
Prediction [6.170898159041278]
本稿では,欠落変数の分布を推定し,隠れ状態の更新を行い,院内死亡の可能性を予測できる新しい変動再帰ネットワークを提案する。
我々のモデルは、これらの手順を1つのストリームで実行し、エンドツーエンドで全てのネットワークパラメータを共同で学習できることは注目に値する。
論文 参考訳（メタデータ） (2020-03-02T04:41:28Z) - Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。
我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。
逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
論文 参考訳（メタデータ） (2020-02-24T19:01:47Z) - Orthogonal Statistical Learning [49.55515683387805]
人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。
人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
論文 参考訳（メタデータ） (2019-01-25T02:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。