論文の概要: Measuring Class-Imbalance Sensitivity of Deterministic Performance Evaluation Metrics

• arxiv url: http://arxiv.org/abs/2206.09981v1
• Date: Mon, 20 Jun 2022 19:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 18:20:35.436091
• Title: Measuring Class-Imbalance Sensitivity of Deterministic Performance Evaluation Metrics
• Title（参考訳）: 決定論的性能評価指標のクラス不均衡感度の測定
• Authors: Azim Ahmadzadeh, Rafal A. Angryk
• Abstract要約: クラス不均衡に対するメトリクスの感度を定量化する直感的な評価フレームワークを導入する。 測定値の感度に対数的挙動があることは、高い不均衡比が測定値の感度の低下と関連していることを意味する。
• 参考スコア（独自算出の注目度）: 0.8376091455761261
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The class-imbalance issue is intrinsic to many real-world machine learning tasks, particularly to the rare-event classification problems. Although the impact and treatment of imbalanced data is widely known, the magnitude of a metric's sensitivity to class imbalance has attracted little attention. As a result, often the sensitive metrics are dismissed while their sensitivity may only be marginal. In this paper, we introduce an intuitive evaluation framework that quantifies metrics' sensitivity to the class imbalance. Moreover, we reveal an interesting fact that there is a logarithmic behavior in metrics' sensitivity meaning that the higher imbalance ratios are associated with the lower sensitivity of metrics. Our framework builds an intuitive understanding of the class-imbalance impact on metrics. We believe this can help avoid many common mistakes, specially the less-emphasized and incorrect assumption that all metrics' quantities are comparable under different class-imbalance ratios.
• Abstract（参考訳）: クラス不均衡問題は、多くの現実世界の機械学習タスク、特にまれな事象分類問題に内在する。 不均衡データの影響と治療は広く知られているが、計量のクラス不均衡に対する感度の大きさはほとんど注目されていない。 その結果、敏感な指標は除外されることが多いが、感度は限界しか持たない。 本稿では,クラス不均衡に対するメトリクスの感度を定量化する直感的評価フレームワークを提案する。 さらに,指標の感度に対数的挙動があること,つまり,高い不均衡比が指標の感度の低下に関係していることが興味深い。 当社のフレームワークは,メトリクスに対するクラス不均衡の影響を直感的に理解する。 これは多くの一般的な間違い、特に、すべてのメトリクスの量が異なるクラス不均衡比で同等であるという強調されていない誤った仮定を避けるのに役立つと私たちは信じています。

関連論文リスト

• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
  本稿では,関数の感度に基づく包括的即時解析を提案する。 出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。 本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
  論文  参考訳（メタデータ） (2023-11-13T10:52:01Z)
• Causal Fair Metric: Bridging Causality, Individual Fairness, and Adversarial Robustness [7.246701762489971]
  モデル内の脆弱性の特定や、類似した個人を公平に扱うことを目的とした個々の公正性に使用される対向的摂動は、どちらも同等の入力データインスタンスを生成するためのメトリクスに依存している。 このような共同メトリクスを定義する以前の試みは、データや構造因果モデルに関する一般的な仮定を欠くことが多く、反事実的近接を反映できなかった。 本稿では, 因果的属性と保護された因果的摂動を含む因果的構造に基づいて定式化された因果的公正度について紹介する。
  論文  参考訳（メタデータ） (2023-10-30T09:53:42Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Towards Understanding Generalization of Macro-AUC in Multi-label Learning [48.015768048227166]
  マクロAUCに基づく各種学習アルゴリズムの一般化特性を特徴付ける。 一般化境界に影響を及ぼすデータセットの臨界因子を同定する。 我々は、独立性を持つかもしれない新しい(そしてより一般的な)マクダイアルミド型濃度不等式を提案する。
  論文  参考訳（メタデータ） (2023-05-09T08:13:48Z)
• Does the evaluation stand up to evaluation? A first-principle approach to the evaluation of classifiers [0.0]
  精度, 平衡精度, マシューズ相関係数, Fowlkes-Mallows index, F1-measure, Area Under the Curveなどの一般的な指標は最適ではない。 この分数は、適度に間違った係数を持つ決定理論計量の使用によって引き起こされるものよりもさらに大きい。
  論文  参考訳（メタデータ） (2023-02-21T09:55:19Z)
• On Quantitative Evaluations of Counterfactuals [88.42660013773647]
  本稿では、分析と実験を通じて、視覚的対実例の評価に関する研究を集約する。 ほとんどのメトリクスは、十分な単純なデータセットを意図して振る舞うが、複雑さが増加すると、良い結果と悪い結果の違いを判断できないものもいる。 私たちはラベル変動スコアとOracleスコアという2つの新しい指標を提案しています。
  論文  参考訳（メタデータ） (2021-10-30T05:00:36Z)
• Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
  観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。 近年の文献では、この目標を達成するために表現学習を探求している。 因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-23T19:06:03Z)
• Classification Performance Metric for Imbalance Data Based on Recall and Selectivity Normalized in Class Labels [0.0]
  クラスラベルに正規化されたリコールと選択率の調和平均に基づく新しいパフォーマンス指標を提案する。 本稿では,提案手法が不均衡なデータセットに対して適切な特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-06-23T20:38:48Z)
• On Model Evaluation under Non-constant Class Imbalance [0.0]
  多くの実世界の分類問題は、関心の階級の有害さと著しくクラス不均衡である。 通常の仮定では、テストデータセットの不均衡は実世界の不均衡と等しい。 非コンスタントクラス不均衡下での評価に焦点をあてる手法を提案する。
  論文  参考訳（メタデータ） (2020-01-15T21:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。