論文の概要: Goodness of Fit Metrics for Multi-class Predictor
- arxiv url: http://arxiv.org/abs/2208.05651v1
- Date: Thu, 11 Aug 2022 06:07:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-12 13:31:04.613477
- Title: Goodness of Fit Metrics for Multi-class Predictor
- Title(参考訳): マルチクラス予測器におけるフィットメトリックの良さ
- Authors: Uri Itai, Natan Katz
- Abstract要約: 適合性を測定するために、いくつかの指標が一般的に使用される。
少なくともemphreal Worldのマルチクラス問題における主要な制約は、不均衡データである。
マシューの相関係数を多次元に一般化することを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The multi-class prediction had gained popularity over recent years. Thus
measuring fit goodness becomes a cardinal question that researchers often have
to deal with. Several metrics are commonly used for this task. However, when
one has to decide about the right measurement, he must consider that different
use-cases impose different constraints that govern this decision. A leading
constraint at least in \emph{real world} multi-class problems is imbalanced
data: Multi categorical problems hardly provide symmetrical data. Hence, when
we observe common KPIs (key performance indicators), e.g.,
Precision-Sensitivity or Accuracy, one can seldom interpret the obtained
numbers into the model's actual needs. We suggest generalizing Matthew's
correlation coefficient into multi-dimensions. This generalization is based on
a geometrical interpretation of the generalized confusion matrix.
- Abstract(参考訳): マルチクラス予測は近年人気を博している。
したがって、適合性を測定することは、研究者がしばしば取り組まなければならない基本的な問題となる。
いくつかのメトリクスがこのタスクに一般的に使用される。
しかしながら、適切な測定方法を決定する必要がある場合、異なるユースケースが、この決定を統制する異なる制約を課すと考慮しなければなりません。
少なくとも \emph{real world} のマルチクラス問題における主要な制約は不均衡データである。
したがって、一般的なKPI(例えば精度-感度または精度)を観測すると、得られた数値をモデルの実ニーズにほとんど解釈できない。
マシューの相関係数を多次元に一般化する。
この一般化は一般化された混乱行列の幾何学的解釈に基づいている。
関連論文リスト
- Gower's similarity coefficients with automatic weight selection [0.0]
混合型変数に対する最も一般的な相似性は、ゴーワーの類似性係数の1つを補うものとして導かれる。
重み付けスキームに関する議論は、しばしば非重み付けの「標準」設定が全体の相似性に対する単一の変数の不均衡な寄与を隠すことを無視するので、誤解を招くことがある。
この欠点は、各寄与相違性と結果の重み付け相違との相関関係を最小化する重み付けスキームを導入するという最近の考え方に倣って解決される。
論文 参考訳(メタデータ) (2024-01-30T14:21:56Z) - Correcting Flaws in Common Disentanglement Metrics [44.937838134027714]
本稿では,既存のメトリクスの2つの欠点を特定する。これは,まだ絡み合っているモデルに高いスコアを割り当てることができることを意味する。
次に、構成一般化の課題を考える。
従来の研究とは異なり、我々はこれを分類問題として扱い、エンコーダの絡み合う能力を測定するために使用することができる。
このタスクのパフォーマンスは, (a) 一般には非常に貧弱であり, (b) ほとんどの不整合度と相関し, (c) 新たに提案した指標と最も強く相関していることを示す。
論文 参考訳(メタデータ) (2023-04-05T09:43:58Z) - Rethinking Knowledge Graph Evaluation Under the Open-World Assumption [65.20527611711697]
ほとんどの知識グラフ(KG)は不完全であり、知識グラフを自動補完する重要な研究トピックの動機となっている。
すべての未知の三つ子を偽として扱うことは、閉世界仮定(close-world assumption)と呼ばれる。
本稿では,KGCの評価を,より現実的な条件,すなわちオープンワールドの仮定の下で研究する。
論文 参考訳(メタデータ) (2022-09-19T09:01:29Z) - Tuned Regularized Estimators for Linear Regression via Covariance
Fitting [17.46329281993348]
線形モデルに対する調律正規化パラメータ推定器の探索問題を考える。
3つの既知の最適線形推定器がより広いクラスの推定器に属することを示す。
得られた推定器のクラスは、既知の正規化推定器のチューニングバージョンを得ることを示す。
論文 参考訳(メタデータ) (2022-01-21T16:08:08Z) - Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。
そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
論文 参考訳(メタデータ) (2021-11-15T16:07:15Z) - A moment-matching metric for latent variable generative models [0.0]
グッドハートの法則の範囲では、計量が対象となるとき、それは良い計量になるのをやめる。
モーメントに依存するモデル比較や正規化のための新しい指標を提案する。
潜時変動モデルを評価する際に, 適応分布からサンプルを抽出することが一般的である。
論文 参考訳(メタデータ) (2021-10-04T17:51:08Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳(メタデータ) (2020-11-16T05:17:29Z) - Benign overfitting in ridge regression [0.0]
過度にパラメータ化されたリッジ回帰に対する漸近的でない一般化境界を提供する。
最小あるいは負の正則化が小さい一般化誤差を得るのに十分であるかどうかを同定する。
論文 参考訳(メタデータ) (2020-09-29T20:00:31Z) - KPQA: A Metric for Generative Question Answering Using Keyphrase Weights [64.54593491919248]
KPQA-metricは生成的質問応答システムの正当性を評価するための新しい指標である。
我々の新しい計量は、キーフレーズ予測を通じて各トークンに異なる重みを割り当てる。
提案手法は,既存の指標よりも人的判断との相関が有意に高いことを示す。
論文 参考訳(メタデータ) (2020-05-01T03:24:36Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳(メタデータ) (2020-03-10T09:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。