論文の概要: An Effectiveness Metric for Ordinal Classification: Formal Properties and Experimental Results

• arxiv url: http://arxiv.org/abs/2006.01245v1
• Date: Mon, 1 Jun 2020 20:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 05:54:04.250002
• Title: An Effectiveness Metric for Ordinal Classification: Formal Properties and Experimental Results
• Title（参考訳）: 正規化のための有効性尺度:形式的特性と実験結果
• Authors: Enrique Amig\'o, Julio Gonzalo, Stefano Mizzaro, Jorge Carrillo-de-Albornoz
• Abstract要約: 本稿では,測定理論と情報理論に根ざした正規分類・閉度評価尺度の新しい尺度を提案する。 NLP共有タスクの合成データとデータの両方に対する理論的解析と実験結果から,提案手法が従来のタスクから品質面を同時に捉えていることが示唆された。
• 参考スコア（独自算出の注目度）: 9.602361044877426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Ordinal Classification tasks, items have to be assigned to classes that have a relative ordering, such as positive, neutral, negative in sentiment analysis. Remarkably, the most popular evaluation metrics for ordinal classification tasks either ignore relevant information (for instance, precision/recall on each of the classes ignores their relative ordering) or assume additional information (for instance, Mean Average Error assumes absolute distances between classes). In this paper we propose a new metric for Ordinal Classification, Closeness Evaluation Measure, that is rooted on Measurement Theory and Information Theory. Our theoretical analysis and experimental results over both synthetic data and data from NLP shared tasks indicate that the proposed metric captures quality aspects from different traditional tasks simultaneously. In addition, it generalizes some popular classification (nominal scale) and error minimization (interval scale) metrics, depending on the measurement scale in which it is instantiated.
• Abstract（参考訳）: 通常の分類タスクでは、アイテムは感情分析においてポジティブ、中立、ネガティブといった相対的な順序を持つクラスに割り当てられなければならない。 注目すべきは、順序付けタスクに対する最も一般的な評価指標は、関連する情報(例えば、各クラスの精度/リコールは相対的な順序を無視する)を無視したり、追加情報(平均誤差はクラス間の絶対距離を仮定する)を仮定する。 本稿では,計測理論と情報理論に根ざした順序分類のための新しい指標,近接性評価尺度を提案する。 NLP共有タスクの合成データとデータの両方に対する理論的解析と実験結果から,提案手法が従来のタスクから品質面を同時に捉えていることが示唆された。 さらに、いくつかの一般的な分類(nominal scale)とエラー最小化(interval scale)のメトリクスを、インスタンス化される測定尺度によって一般化する。

関連論文リスト

• Improving the classification of extreme classes by means of loss regularisation and generalised beta distributions [8.640930010669042]
  本稿では,一級・一級の分類性能を向上させるための一級正規化手法を提案する。 極端なクラスのパフォーマンスは、その感度を考慮に入れた新しいメトリクスを使って比較される。 提案手法により, 一般化されたベータ分布は, 極端なクラスにおける分類性能を向上することが示された。
  論文  参考訳（メタデータ） (2024-07-17T08:57:42Z)
• $F_β$-plot -- a visual tool for evaluating imbalanced data classifiers [0.0]
  本稿では、一般的なパラメトリック計量である$F_beta$を分析するための簡単なアプローチを提案する。 分析された分類器のプールに対して、あるモデルがユーザの要求に応じて好まれるべき場合を示すことができる。
  論文  参考訳（メタデータ） (2024-04-11T18:07:57Z)
• Discordance Minimization-based Imputation Algorithms for Missing Values in Rating Data [4.100928307172084]
  複数の評価リストが組み合わされたり、考慮されたりすると、被験者はしばしば評価を欠く。 そこで本研究では,6つの実世界のデータセットを用いて,欠落した値パターンの解析を行う。 評価提供者間での総合評価不一致を最小限に抑える最適化モデルとアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-07T14:42:06Z)
• Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union [113.20223082664681]
  そこで本研究では,mIoUsの微細化と,それに対応する最悪の指標を提案する。 これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。 ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
  論文  参考訳（メタデータ） (2023-10-30T03:45:15Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Association Graph Learning for Multi-Task Classification with Category Shifts [68.58829338426712]
  関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。 我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。 我々の手法は代表的基準よりも一貫して性能が良い。
  論文  参考訳（メタデータ） (2022-10-10T12:37:41Z)
• Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics [64.81682222169113]
  システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。 システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
  論文  参考訳（メタデータ） (2022-04-21T15:52:14Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Classification Performance Metric for Imbalance Data Based on Recall and Selectivity Normalized in Class Labels [0.0]
  クラスラベルに正規化されたリコールと選択率の調和平均に基づく新しいパフォーマンス指標を提案する。 本稿では,提案手法が不均衡なデータセットに対して適切な特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-06-23T20:38:48Z)
• Classifier uncertainty: evidence, potential impact, and probabilistic treatment [0.0]
  本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。 我々は、不確実性は驚くほど大きく、性能評価を制限できることを示した。
  論文  参考訳（メタデータ） (2020-06-19T12:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。