Fugu-MT 論文翻訳(概要): Classifier uncertainty: evidence, potential impact, and probabilistic treatment

論文の概要: Classifier uncertainty: evidence, potential impact, and probabilistic treatment

arxiv url: http://arxiv.org/abs/2006.11105v1
Date: Fri, 19 Jun 2020 12:49:19 GMT
ステータス: 処理完了
システム内更新日: 2022-11-19 03:57:21.348290
Title: Classifier uncertainty: evidence, potential impact, and probabilistic treatment
Title（参考訳）: 分類不確実性:証拠、潜在的影響、確率的治療
Authors: Niklas T\"otsch, Daniel Hoffmann
Abstract要約: 本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。我々は、不確実性は驚くほど大きく、性能評価を制限できることを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Classifiers are often tested on relatively small data sets, which should lead to uncertain performance metrics. Nevertheless, these metrics are usually taken at face value. We present an approach to quantify the uncertainty of classification performance metrics, based on a probability model of the confusion matrix. Application of our approach to classifiers from the scientific literature and a classification competition shows that uncertainties can be surprisingly large and limit performance evaluation. In fact, some published classifiers are likely to be misleading. The application of our approach is simple and requires only the confusion matrix. It is agnostic of the underlying classifier. Our method can also be used for the estimation of sample sizes that achieve a desired precision of a performance metric.
Abstract（参考訳）: 分類器は比較的小さなデータセットでテストされることが多く、不確実なパフォーマンス指標につながる。しかしながら、これらのメトリクスは通常、顔の値で取られる。本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。科学的文献と分類コンペティションからの分類器への適用により,不確実性は驚くほど大きく,性能評価を制限できることが示された。実際、いくつかの公開された分類器は誤解を招く可能性が高い。このアプローチの応用は単純であり、混乱行列のみを必要とする。下位の分類器とは無関係である。また,本手法は,性能測定値の所望の精度を実現するサンプルサイズの推定にも利用できる。

関連論文リスト

Trustworthy Classification through Rank-Based Conformal Prediction Sets [9.559062601251464]
本稿では,分類モデルに適したランクベーススコア関数を用いた新しいコンフォメーション予測手法を提案する。提案手法は,そのサイズを管理しながら,所望のカバレッジ率を達成する予測セットを構築する。コントリビューションには、新しい共形予測法、理論的解析、経験的評価が含まれる。
論文参考訳（メタデータ） (2024-07-05T10:43:41Z)
$F_β$-plot -- a visual tool for evaluating imbalanced data classifiers [0.0]
本稿では、一般的なパラメトリック計量である$F_beta$を分析するための簡単なアプローチを提案する。分析された分類器のプールに対して、あるモデルがユーザの要求に応じて好まれるべき場合を示すことができる。
論文参考訳（メタデータ） (2024-04-11T18:07:57Z)
Class-Conditional Conformal Prediction with Many Classes [60.8189977620604]
類似した共形スコアを持つクラスをクラスタ化するクラスタ化共形予測法を提案する。クラスタ化されたコンフォメーションは、クラス条件カバレッジとセットサイズメトリクスの点で、既存のメソッドよりも一般的に優れています。
論文参考訳（メタデータ） (2023-06-15T17:59:02Z)
Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文参考訳（メタデータ） (2022-11-21T18:47:11Z)
Fairness and Unfairness in Binary and Multiclass Classification: Quantifying, Calculating, and Bounding [22.449347663780767]
本稿では,分類器の公平性を定量的に分析できる,不公平性の新しい解釈可能な尺度を提案する。分類器の条件付き乱雑行列が知られている場合に、この測度がどのように計算されるかを示す。多様なアプリケーションを表すデータセットに関する実験を報告する。
論文参考訳（メタデータ） (2022-06-07T12:26:28Z)
Determination of class-specific variables in nonparametric multiple-class classification [0.0]
確率に基づく非パラメトリックな多重クラス分類法を提案し、それを個々のクラスに対して高い影響変数を識別する能力と統合する。提案手法の特性を報告し, 合成データと実データの両方を用いて, 異なる分類条件下での特性を説明する。
論文参考訳（メタデータ） (2022-05-07T10:08:58Z)
Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
論文参考訳（メタデータ） (2022-02-01T13:22:26Z)
Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文参考訳（メタデータ） (2022-01-26T19:59:14Z)
When in Doubt: Improving Classification Performance with Alternating Normalization [57.39356691967766]
分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。 CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。多様な分類課題にまたがってその効果を実証的に示す。
論文参考訳（メタデータ） (2021-09-28T02:55:42Z)
Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。任意の関数に対するランダム化スムージングの統一的なビューを示す。本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文参考訳（メタデータ） (2020-02-07T21:28:30Z)
Fairness Measures for Regression via Probabilistic Classification [0.0]
アルゴリズムフェアネス(英: Algorithmic Fairness)とは、機械学習アルゴリズムが最適化できる定量尺度として、公平性や合理的な扱いなどの概念を表現することである。これは、分類公正度尺度が結果の比率を比較することで容易に計算され、同じ資格を持つ男性の割合が適格女性として選択されるような行動につながるためである。しかし、そのような尺度は、価格や支払いの割当といった問題に対する継続的な回帰設定を一般化することは、計算的に困難である。回帰設定では, 保護属性の異なる条件確率の比率として, 独立性, 分離性, 充足性基準の抽出可能な近似を導入する。
論文参考訳（メタデータ） (2020-01-16T21:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。