論文の概要: The Manokhin Probability Matrix: A Diagnostic Framework for Classifier Probability Quality
- arxiv url: http://arxiv.org/abs/2605.03816v1
- Date: Tue, 05 May 2026 14:44:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:43.978638
- Title: The Manokhin Probability Matrix: A Diagnostic Framework for Classifier Probability Quality
- Title（参考訳）: Manokhin Probability Matrix: 分類器の確率品質診断フレームワーク
- Authors: Valery Manokhin,
- Abstract要約: ブライアスコアは確率的予測の2つの特性を融合させる:信頼性(エラー)と分解能(差別力)
我々は,BCGスタイルの2次元診断フレームワークであるManokhin Probability Matrixを紹介した。
我々は,21個の分類器,5個のポストホックキャリブレータ,30個の実世界のバイナリ分類タスクにまたがる大規模実験から行列を抽出した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Brier score conflates two distinct properties of probabilistic predictions: reliability (calibration error) and resolution (discriminatory power). We introduce the Manokhin Probability Matrix, a BCG-style two-dimensional diagnostic framework that separates them. Classifiers are placed on a 2x2 grid by Spiegelhalter Z-statistic and AUC-ROC expected rank, then assigned to one of four archetypes: Eagle (good on both axes), Bull (strong discrimination, poor calibration), Sloth (well-calibrated, weak discriminator), and Mole (poor on both). Each archetype carries a distinct prescription. We populate the matrix from a large-scale empirical study spanning 21 classifiers, 5 post-hoc calibrators, and 30 real-world binary classification tasks from the TabArena-v0.1 suite. The assignment is unambiguous. CatBoost, TabICL, EBM, TabPFN, GBC, and Random Forest are Eagles. XGBoost, LightGBM, and HGB are Bulls; Venn-Abers calibration cuts log-loss by 6.5 to 12.6% on Bulls but degrades Eagles by 2.1%. SVM, LR, LDA, and the empirical base-rate predictor are Sloths. MLP, KNN, Naive Bayes, and ExtraTrees are Moles. A theoretical asymmetry follows: no order-preserving post-hoc calibrator can add discriminatory power (Proposition 1), so calibration is the fixable part and discrimination is the hard part. The practical rule is direct: do not optimise aggregate Brier score without first decomposing it; optimise discrimination first, then fix calibration post-hoc. Code and raw experimental data are available at https://github.com/valeman/classifier_calibration.
- Abstract（参考訳）: ブライアスコアは、信頼性(校正誤差)と分解能(差別パワー)という、確率予測の2つの異なる性質を混同している。
我々は,BCGスタイルの2次元診断フレームワークであるManokhin Probability Matrixを紹介した。
分類器は、Spiegelhalter Z-statisticとAUC-ROCによって2x2グリッドに配置され、その後、イーグル(両軸で良い)、ブル(両軸で良い)、ブル(強い差別、弱い校正)、スロー(よく校正され弱い差別者)、モール(両軸で良い)の4つのアーキタイプのうちの1つに割り当てられる。
それぞれのアーチタイプには、明確な処方薬が携わっている。
本研究では,21個の分類器,5個のポストホックキャリブレータ,30個の実世界のバイナリ分類タスクからなる大規模実証研究から行列を抽出した。
その割り当てはあいまいだ。
CatBoost、TabICL、EBM、TabPFN、GBC、Random Forestはイーグルスである。
XGBoost、LightGBM、HGBはブルズであり、Venn-Abersキャリブレーションは、ブルズでは6.5から12.6%、イーグルスでは2.1%である。
SVM、LR、LDA、および経験的ベースレート予測器はSlothsである。
MLP、KNN、ネイブベイズ、エクストラトリーズはモレスである。
順序保存後キャリブレータが存在しないと識別力が付加できない(命題1)ので、キャリブレーションは固定可能部、識別は難しい部分である。
実際のルールは直接的であり、まずは分解せずに集計されたブライアスコアを最適化し、まず差別を最適化し、次にキャリブレーション後の校正を修正しない。
コードと生の実験データはhttps://github.com/valeman/classifier_calibration.comで公開されている。
関連論文リスト
- Soft Mean Expected Calibration Error (SMECE): A Calibration Metric for Probabilistic Labels [0.0]
予測エラー(ece)は機械学習における主要なキャリブレーション指標である。
smeceはラベルがバイナリであるときに正確にEceに還元するので、厳密な一般化になる。
論文 参考訳（メタデータ） (2026-03-14T19:33:53Z) - Classifier Calibration at Scale: An Empirical Study of Model-Agnostic Post-Hoc Methods [0.0]
教師付き二項分類における確率的予測を改善するためのモデル非依存のポストホック校正法について検討した。
我々は、線形モデル、SVM、ツリーアンサンブル(CatBoost、XGBoost、LightGBM)を含む21の広く使われている分類器をベンチマークした。
一般的な校正手順,特にプラットスケーリングと等調回帰は,適切なスコアリング性能を体系的に低下させる可能性がある。
論文 参考訳（メタデータ） (2026-01-19T18:23:36Z) - Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning [53.9713678229744]
MIPL(Multi-instance partial-label Learning)は、インスタンス空間とラベル空間の両方において、不正確な監督の課題に対処する弱い教師付きフレームワークである。
既存のMIPLアプローチは、しばしばキャリブレーションが悪く、信頼性を損なう。
分類精度と校正性能を同時に向上するプラグアンドプレイ校正型曖昧さ損失(CDL)を提案する。
論文 参考訳（メタデータ） (2025-12-19T16:58:31Z) - How Many Code and Test Cases Are Enough? Evaluating Test Cases Generation from a Binary-Matrix Perspective [51.30005925128432]
LLM(Large Language Models)が自動生成するテストケースの評価は、非常に難しい作業です。
既存のベンチマークは高い計算コスト、インフレーションのスコア、稀でクリティカルな欠陥に対する自明なバグに対するバイアスに悩まされている。
本稿では,ベンチマーク構築をバイナリコードテスト行列の最適な診断基準として定式化するフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-09T18:29:24Z) - On Computationally Efficient Multi-Class Calibration [9.032290717007065]
プロジェクトのキャリブレーションは、下流の意思決定者全員に強い保証を与えます。
これは、ラベルに割り当てられた確率を$T$にまとめることで予測される確率が、完全に校正されたバイナリ予測器に近いことを保証している。
論文 参考訳（メタデータ） (2024-02-12T17:25:23Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳（メタデータ） (2023-01-25T19:35:23Z) - Transformers meet Stochastic Block Models: Attention with Data-Adaptive
Sparsity and Cost [53.746169882193456]
最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。
本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。
我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
論文 参考訳（メタデータ） (2022-10-27T15:30:52Z) - Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。
AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。
提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-03T11:09:13Z) - Top-label calibration [3.3504365823045044]
マルチクラス分類におけるポストホックキャリブレーションの問題点について検討し,ヒストグラム・バイニングに着目した。
信頼度キャリブレーションという一般的な概念は十分に強くはないことが分かっています -- 意味のある方法でキャリブレーションされていないが、完全に信頼度キャリブレーションされている予測器が存在するのです。
本稿では,信頼度キャリブレーションの直感と単純さを正確に捉えつつも,その欠点に対処する,密接に関連する(微妙に異なる)概念であるトップラベルキャリブレーションを提案する。
論文 参考訳（メタデータ） (2021-07-18T03:27:50Z) - Towards Discriminability and Diversity: Batch Nuclear-norm Maximization
under Label Insufficient Situations [154.51144248210338]
Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。
BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
論文 参考訳（メタデータ） (2020-03-27T05:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。