論文の概要: Performance metrics in machine learning: a scenario-based guide from the confusion matrix to calibration, regression and uncertainty

• arxiv url: http://arxiv.org/abs/2611.08048v1
• Date: Thu, 05 Nov 2026 14:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.529762
• Title: Performance metrics in machine learning: a scenario-based guide from the confusion matrix to calibration, regression and uncertainty
• Title（参考訳）: 機械学習におけるパフォーマンス指標--混乱行列から校正・回帰・不確実性へのシナリオベースガイド
• Abstract要約: 2つの混乱行列のメトリクスは、有病率符号化されたマップで整理される。 15のシナリオでは、バイナリとマルチクラスの分類、スコアの識別、確率の校正、回帰、不確実性、一貫性チェックがカバーされている。
• 参考スコア（独自算出の注目度）: 23.120805127223377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance metrics can yield different conclusions from the same predictions. This methodological tutorial explains the effects of class prevalence, decision thresholds, aggregation rules and software conventions through controlled scenarios. Twenty-two confusion-matrix metrics are organized in a prevalence-coded map. Fifteen scenarios cover binary and multi-class classification, score discrimination, probability calibration, regression, uncertainty and consistency checks. Inputs are fixed in released files, and one factor is varied in each scenario. All 205 verification checks passed; 202 were independent and 3 were internal. An always-negative rule achieved an accuracy of 0.990 at a prevalence of 0.010, with balanced accuracy of 0.500. At fixed sensitivity and specificity, precision fell from 0.889 to 0.008 as prevalence fell from 0.5 to 0.001. Three probability variants shared a ROC-AUC of 0.825 but had calibration slopes of 2.08, 1.04 and 0.52. With 10 participants, participant-majority accuracy of 0.700 had a 95% interval of 0.348-0.933. Fold-averaged scores were falsely flagged as inconsistent under an inappropriate pooled-test-set model. A goal-based metric table and a reporting checklist are provided. The scenarios illustrate mechanisms and do not estimate their frequency in published studies. A literature audit and a real-data demonstration are specified as future protocols and were not executed.
• Abstract（参考訳）: パフォーマンスメトリクスは、同じ予測から異なる結論を得ることができます。 この方法論のチュートリアルでは、制御されたシナリオを通じて、クラス有病率、決定しきい値、集約ルール、ソフトウェア規約の影響を説明します。 2つの混乱行列のメトリクスは、有病率符号化されたマップで整理される。 15のシナリオでは、バイナリとマルチクラスの分類、スコアの識別、確率の校正、回帰、不確実性、一貫性チェックがカバーされている。 入力は解放されたファイルで固定され、各シナリオで1つの要素が変化する。 205件の検証チェックが合格し、202件が独立、3件が内部で実施された。 常に負の規則は0.010の確率で0.990の精度を達成し、バランスの取れた精度は0.500である。 一定の感度と特異度では、精度が0.889から0.008に低下し、精度は0.5から0.001に低下した。 3つの確率変種はROC-AUCは0.825であったが、キャリブレーション勾配は2.08, 1.04, 0.52であった。 参加者10名に対し,0.700の参加者一致精度は0.348-0.933の95%間隔であった。 不適切なプール-テスト-セットモデルでは, 平均得点は不整合であると誤認された。 ゴールベースメトリックテーブルとレポートチェックリストとを備える。 これらのシナリオはメカニズムを示し、公表された研究でそれらの頻度を見積もらない。 文献監査と実データデモは将来のプロトコルとして指定され、実行されなかった。

関連論文リスト

• When Category Means Move: A Paired-Support Audit of Recommendation Logs with Random Insertions [14.578711992979647]
  コンテンツカテゴリダッシュボードは、製品レコメンデーションログを要約するが、サービスポリシは、各平均の背後にあるユーザ、アイテム、コンテキストを選択する。 KuaiRandのランダムな挿入インプレッションを使って、これらの要約を同じ12,472ユーザーと5,486ビデオで監査する。
  論文  参考訳（メタデータ） (2026-11-03T14:53:46Z)
• Do System One Decisions Add Up? A Study of Probabilistic Coherence [0.0]
  決定モデルは、同じ決定を小さなステップに分割した場合に、すべての質問に対して1にまとめる確率を与えることができます。 本研究は, 直接微視的予測と広いカテゴリの確率, それらのカテゴリを通して再構成された予測とを比較した。 カテゴリーレベルの総変分の平均は、Jevでは0.219から0.349、Layaでは0.424から0.689までである。
  論文  参考訳（メタデータ） (2026-09-27T22:15:56Z)
• The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
  決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。 本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。 検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
  論文  参考訳（メタデータ） (2026-09-14T17:13:05Z)
• Why Does the Future Branch? Identifiable Closure Tests for Stochastic Physical World Models [0.0]
  ClosurePairsは、繰り返し発生する障害を伴う互換性のあるマイクロステートを横断します。 ソースの属性は確実に回復する。 非線形相互作用ベンチマークにおける等予算分解誤差を低減する。
  論文  参考訳（メタデータ） (2026-08-01T11:07:24Z)
• Selective Prediction and Uncertainty-Aware Referral for Pap Smear Classification [3.093890460224435]
  本稿では,Herlev Papスミアデータセットの選択的予測と不確実性を考慮した参照について検討する。 ImageNet-pretrained weights with weighted random samples, and two light transformer backbones are fine-tuned on Herlev from ImageNet-pretrained weights with weighted random sample。 統計的に有意な差は認められなかった。
  論文  参考訳（メタデータ） (2026-07-15T05:47:31Z)
• Clinical Uncertainty Impacts Machine Learning Evaluations [40.773483049446426]
  機械学習評価は, 直接分布に作用する確率的指標を用いて, アノテーションの不確かさを明示的に考慮すべきである,と論じる。 我々は、データセットの生アノテーションをコミュニティに公開し、パフォーマンス推定が臨床データをよりよく反映できるように、不確実性を考慮した評価を採用するよう促す。
  論文  参考訳（メタデータ） (2025-09-26T11:56:58Z)
• Evaluating AI systems under uncertain ground truth: a case study in dermatology [43.8328264420381]
  不確実性を無視することは、モデル性能の過度に楽観的な推定につながることを示す。 皮膚状態の分類では,データセットの大部分が重大な真理不確実性を示すことが判明した。
  論文  参考訳（メタデータ） (2023-07-05T10:33:45Z)
• Arbitrariness and Social Prediction: The Confounding Role of Variance in Fair Classification [31.392067805022414]
  異なる訓練されたモデル間での予測のばらつきは、公正なバイナリ分類における重要な、未探索のエラーの原因である。 実際には、いくつかのデータ例のばらつきは非常に大きいので、決定を効果的に任意にすることができる。 予測が任意である場合に分類を省略するアンサンブルアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:52:04Z)
• Detecting Errors and Estimating Accuracy on Unlabeled Data with Self-training Ensembles [38.23896575179384]
  本稿では,この2つの課題に同時に対処する,原則的かつ実用的な枠組みを提案する。 1つのインスタンス化は、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。 iWildCamでは、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
  論文  参考訳（メタデータ） (2021-06-29T21:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。