論文の概要: Extending $\mathrm{F}_1$ metric, probabilistic approach
- arxiv url: http://arxiv.org/abs/2210.11997v1
- Date: Fri, 21 Oct 2022 14:39:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 15:36:30.045605
- Title: Extending $\mathrm{F}_1$ metric, probabilistic approach
- Title(参考訳): $\mathrm{f}_1$メートルの拡張、確率的アプローチ
- Authors: Mikolaj Sitarz
- Abstract要約: 本稿では,精度,リコール,特異性,負の予測値の確率論的解釈を用いた新しい指標を提案する。
その特性を記述し、一般的な指標と比較する。
我々は、その挙動を混乱行列のエッジケースで示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This article explores the extension of well-known $\mathrm{F}_1$ score used
for assessing the performance of binary classifiers. We propose the new metric
using probabilistic interpretation of precision, recall, specificity, and
negative predictive value. We describe its properties and compare it to common
metrics. Then we demonstrate its behavior in edge cases of the confusion
matrix. Finally, the properties of the metric are tested on binary classifier
trained on the real dataset.
- Abstract(参考訳): 本稿では、よく知られた$\mathrm{F}_1$スコアを拡張し、バイナリ分類器の性能を評価する。
本稿では,精度,リコール,特異性,負の予測値の確率論的解釈を用いた新しい指標を提案する。
その特性を記述し、一般的な指標と比較する。
次に,混乱行列のエッジケースにおける挙動を示す。
最後に、メトリックの特性は、実データセットでトレーニングされたバイナリ分類器でテストされる。
関連論文リスト
- Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。
論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。
本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文 参考訳(メタデータ) (2023-05-19T08:22:23Z) - Never mind the metrics -- what about the uncertainty? Visualising
confusion matrix metric distributions [6.566615606042994]
本稿では,不確実性の異なるモデル下での分布を明らかにすることにより,分類器の性能指標について,よりバランスのとれた視点を求める。
我々は、このROC空間内の(そしてそれ以上の)パフォーマンスメトリクスの輪郭の方程式、アニメーション、インタラクティブな可視化を開発します。
私たちの期待は、これらの洞察と視覚化によって、パフォーマンス指標の推定における実質的な不確実性に対する認識がより高くなることです。
論文 参考訳(メタデータ) (2022-06-05T11:54:59Z) - On the Intrinsic and Extrinsic Fairness Evaluation Metrics for
Contextualized Language Representations [74.70957445600936]
様々な自然言語処理タスクの公平度を測定するために、複数のメトリクスが導入された。
これらの指標は,(1)下流アプリケーションにおけるフェアネスを評価する遠因性指標と,(2)上流言語表現モデルにおけるフェアネスを推定する遠因性指標の2つのカテゴリに大別することができる。
論文 参考訳(メタデータ) (2022-03-25T22:17:43Z) - Smoothed Embeddings for Certified Few-Shot Learning [63.68667303948808]
我々はランダムな平滑化を数ショットの学習モデルに拡張し、入力を正規化された埋め込みにマッピングする。
この結果は、異なるデータセットの実験によって確認される。
論文 参考訳(メタデータ) (2022-02-02T18:19:04Z) - When in Doubt: Improving Classification Performance with Alternating
Normalization [57.39356691967766]
分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。
CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。
多様な分類課題にまたがってその効果を実証的に示す。
論文 参考訳(メタデータ) (2021-09-28T02:55:42Z) - Optimizing Black-box Metrics with Iterative Example Weighting [32.682652530189266]
混乱行列のブラックボックス関数によって定義される分類基準を最適化する学習を検討する。
提案手法は,トレーニングデータセットのサンプル重みを適応的に学習し,その結果の重み付け目標が検証サンプルの計量値に最も近いようにすることである。
論文 参考訳(メタデータ) (2021-02-18T17:19:09Z) - Classifier uncertainty: evidence, potential impact, and probabilistic
treatment [0.0]
本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。
我々は、不確実性は驚くほど大きく、性能評価を制限できることを示した。
論文 参考訳(メタデータ) (2020-06-19T12:49:19Z) - Nonparametric Score Estimators [49.42469547970041]
未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
論文 参考訳(メタデータ) (2020-05-20T15:01:03Z) - Quantifying the Uncertainty of Precision Estimates for Rule based Text
Classifiers [0.0]
キーサブストリングの存在と欠如を利用して分類決定を行うルールベースの分類器は、それらの精度の不確かさを定量化する自然なメカニズムを持つ。
バイナリ分類器にとって重要な洞察は、文書によって誘導される部分弦集合の分割をベルヌーイ確率変数として扱うことである。
このアプローチの実用性は、ベンチマーク問題で実証されている。
論文 参考訳(メタデータ) (2020-05-19T03:51:47Z) - Training conformal predictors [0.0]
共形予測の効率基準は、一般に、与えられた共形予測器の性能を評価するために用いられる。
そこで本研究では,そのような基準をエンフラーン分類器に活用できるかどうかを考察する。
論文 参考訳(メタデータ) (2020-05-14T14:47:30Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。