論文の概要: Interactive Classification Metrics: A graphical application to build robust intuition for classification model evaluation

• arxiv url: http://arxiv.org/abs/2412.17066v1
• Date: Sun, 22 Dec 2024 15:36:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:09.413180
• Title: Interactive Classification Metrics: A graphical application to build robust intuition for classification model evaluation
• Title（参考訳）: 対話型分類メトリクス: 分類モデル評価のための頑健な直観を構築するグラフィカルアプリケーション
• Authors: David H. Brown, Davide Chicco,
• Abstract要約: インタラクティブ分類メトリクス(ICM)は、異なる評価指標間の関係を可視化し、探索するアプリケーションである。 ユーザーは分布統計を変更し、一連の評価指標を通して対応する変化を探索する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Machine learning continues to grow in popularity in academia, in industry, and is increasingly used in other fields. However, most of the common metrics used to evaluate even simple binary classification models have shortcomings that are neither immediately obvious nor consistently taught to practitioners. Here we present Interactive Classification Metrics (ICM), an application to visualize and explore the relationships between different evaluation metrics. The user changes the distribution statistics and explores corresponding changes across a suite of evaluation metrics. The interactive, graphical nature of this tool emphasizes the tradeoffs of each metric without the overhead of data wrangling and model training. The goals of this application are: (1) to aid practitioners in the ever-expanding machine learning field to choose the most appropriate evaluation metrics for their classification problem; (2) to promote careful attention to interpretation that is required even in the simplest scenarios like binary classification. Our application is publicly available for free under the MIT license as a Python package on PyPI at https://pypi.org/project/interactive-classification-metrics and on GitHub at https://github.com/davhbrown/interactive_classification_metrics.
• Abstract（参考訳）: 機械学習は、産業界、産業界で人気が高まり続けており、他の分野ではますます使われている。 しかし、単純な二分分類モデルを評価するのに使われる一般的な指標のほとんどは、すぐには明らかではなく、実践者に一貫して教えられるような欠点がある。 ここでは、異なる評価指標間の関係を可視化し、探索するアプリケーションであるInteractive Classification Metrics(ICM)を紹介する。 ユーザーは分布統計を変更し、一連の評価指標を通して対応する変化を探索する。 このツールのインタラクティブでグラフィカルな性質は、データラングリングやモデルトレーニングのオーバーヘッドを伴わずに、各メトリックのトレードオフを強調する。 本アプリケーションの目的は,(1)機械学習分野の実践者が,分類問題において最も適切な評価指標を選択するのを支援すること,(2)二項分類のような最も単純なシナリオにおいても必要な解釈に注意を払うこと,である。 私たちのアプリケーションはMITライセンス下で,PyPIのhttps://pypi.org/project/interactive-classification-metrics,GitHubのhttps://github.com/davhbrown/interactive_classification_metricsでPythonパッケージとして公開されている。

関連論文リスト

• $F_β$-plot -- a visual tool for evaluating imbalanced data classifiers [0.0]
  本稿では、一般的なパラメトリック計量である$F_beta$を分析するための簡単なアプローチを提案する。 分析された分類器のプールに対して、あるモデルがユーザの要求に応じて好まれるべき場合を示すことができる。
  論文  参考訳（メタデータ） (2024-04-11T18:07:57Z)
• Machine Learning Capability: A standardized metric using case difficulty with applications to individualized deployment of supervised machine learning [2.2060666847121864]
  モデル評価は教師付き機械学習分類解析において重要な要素である。 アイテム応答理論(IRT)と機械学習を用いたコンピュータ適応テスト(CAT)は、最終分類結果とは無関係にデータセットをベンチマークすることができる。
  論文  参考訳（メタデータ） (2023-02-09T00:38:42Z)
• KGxBoard: Explainable and Interactive Leaderboard for Evaluation of Knowledge Graph Completion Models [76.01814380927507]
  KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。 実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
  論文  参考訳（メタデータ） (2022-08-23T15:11:45Z)
• Evaluating Machine Unlearning via Epistemic Uncertainty [78.27542864367821]
  本研究では,不確実性に基づく機械学習アルゴリズムの評価を行う。 これは私たちの最良の知識の一般的な評価の最初の定義です。
  論文  参考訳（メタデータ） (2022-08-23T09:37:31Z)
• Classification Performance Metric Elicitation and its Applications [5.5637552942511155]
  その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。 この論文は、暗黙のユーザの嗜好を最も反映したパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリクスの誘惑を概説している。
  論文  参考訳（メタデータ） (2022-08-19T03:57:17Z)
• A novel evaluation methodology for supervised Feature Ranking algorithms [0.0]
  本稿では,特徴ランクの新たな評価手法を提案する。 合成データセットを使用することで、特徴重要度スコアを事前に知ることができ、より体系的な評価が可能になる。 新しい方法論を使った大規模な実験を容易にするため、fsevalと呼ばれるベンチマークフレームワークがPythonで構築された。
  論文  参考訳（メタデータ） (2022-07-09T12:00:36Z)
• A Unified Framework for Rank-based Evaluation Metrics for Link Prediction in Knowledge Graphs [19.822126244784133]
  負の負の3倍数を持たない知識グラフ上のリンク予測タスクは、ランクベースのメトリクスの使用を動機付けている。 本稿では,既存の測度を改善するための2つの方法について,代替アグリゲーション関数と確率論の概念を用いて検討する。 本稿では,知識グラフ埋め込みモデルのベンチマークにおいて,その使用例を示すとともに,より容易に解釈・比較できる新しいランクベースの指標を提案する。
  論文  参考訳（メタデータ） (2022-03-14T23:09:46Z)
• Bidimensional Leaderboards: Generate and Evaluate Language Hand in Hand [117.62186420147563]
  リーダーボード, 二次元リーダーボード(ビルボード)の一般化を提案する。 従来の一次元のリーダーボードがシステムに所定の基準でソートするのとは異なり、ビルボードはジェネレータと評価指標の両方を競合するエントリとして受け入れる。 いくつかの異なるメトリクスの線形アンサンブルが、場合によっては既存のメトリクスを独立して大幅に上回っていることを実証する。
  論文  参考訳（メタデータ） (2021-12-08T06:34:58Z)
• Deep Relational Metric Learning [84.95793654872399]
  本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。 我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。 広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-23T09:31:18Z)
• Fine-Grained Visual Classification with Efficient End-to-end Localization [49.9887676289364]
  本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。 我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
  論文  参考訳（メタデータ） (2020-05-11T14:07:06Z)
• PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative Dialogue Systems [48.99561874529323]
  オープンドメイン生成対話システムの評価には3つの方法がある。 体系的な比較が欠如しているため、どの指標がより効果的であるかは明らかでない。 本稿では,人間の判断との相関性を大幅に改善できる,新しい,実現可能な学習基準を提案する。
  論文  参考訳（メタデータ） (2020-04-06T04:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。