論文の概要: Probabilistic Scores of Classifiers, Calibration is not Enough
- arxiv url: http://arxiv.org/abs/2408.03421v1
- Date: Tue, 6 Aug 2024 19:53:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 14:26:26.339700
- Title: Probabilistic Scores of Classifiers, Calibration is not Enough
- Title（参考訳）: 分類器の確率スコア、校正は不十分
- Authors: Agathe Fernandes Machado, Arthur Charpentier, Emmanuel Flachaire, Ewen Gallic, François Hu,
- Abstract要約: 二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。
本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。
その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
- 参考スコア（独自算出の注目度）: 0.32985979395737786
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In binary classification tasks, accurate representation of probabilistic predictions is essential for various real-world applications such as predicting payment defaults or assessing medical risks. The model must then be well-calibrated to ensure alignment between predicted probabilities and actual outcomes. However, when score heterogeneity deviates from the underlying data probability distribution, traditional calibration metrics lose reliability, failing to align score distribution with actual probabilities. In this study, we highlight approaches that prioritize optimizing the alignment between predicted scores and true probability distributions over minimizing traditional performance or calibration metrics. When employing tree-based models such as Random Forest and XGBoost, our analysis emphasizes the flexibility these models offer in tuning hyperparameters to minimize the Kullback-Leibler (KL) divergence between predicted and true distributions. Through extensive empirical analysis across 10 UCI datasets and simulations, we demonstrate that optimizing tree-based models based on KL divergence yields superior alignment between predicted scores and actual probabilities without significant performance loss. In real-world scenarios, the reference probability is determined a priori as a Beta distribution estimated through maximum likelihood. Conversely, minimizing traditional calibration metrics may lead to suboptimal results, characterized by notable performance declines and inferior KL values. Our findings reveal limitations in traditional calibration metrics, which could undermine the reliability of predictive models for critical decision-making.
- Abstract（参考訳）: バイナリ分類タスクでは、支払いデフォルトの予測や医療リスクの評価など、様々な現実世界のアプリケーションにおいて、確率的予測の正確な表現が不可欠である。
予測された確率と実際の結果との整合性を確保するために、モデルは十分に校正されなければならない。
しかし、スコアの不均一性が基礎となるデータ確率分布から逸脱すると、従来のキャリブレーション指標は信頼性を失い、スコア分布と実際の確率との整合に失敗する。
本研究では,従来の性能・校正基準の最小化よりも,予測スコアと真の確率分布とのアライメントの最適化を優先するアプローチを強調した。
Random Forest や XGBoost のような木に基づくモデルを採用する場合、予測分布と真の分布の間のKL(Kulback-Leibler) のばらつきを最小限に抑えるために、ハイパーパラメータのチューニングにおいてこれらのモデルが提供する柔軟性を強調します。
10のUCIデータセットとシミュレーションにまたがる広範な実験分析により、KLの発散に基づくツリーベースモデルの最適化により、予測されたスコアと実際の確率との整合性は、大きな性能損失を伴わないことが実証された。
実世界のシナリオでは、基準確率は最大確率で推定されたベータ分布として事前判定される。
逆に、従来の校正基準の最小化は、顕著な性能低下と低いKL値によって特徴づけられる、最適以下の結果をもたらす可能性がある。
その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
関連論文リスト
- Deep Probability Segmentation: Are segmentation models probability estimators? [0.7646713951724011]
モデルのキャリブレーションへの影響を評価するために,セグメンテーションタスクにキャリブレーション確率推定を適用した。
その結果, キャリブレーションはキャリブレーションが向上するが, 分類タスクに比べ, キャリブレーションの効果は低かった。
また, キャリブレーションの有効性に及ぼすデータセットサイズとビン最適化の影響についても検討した。
論文 参考訳（メタデータ） (2024-09-19T07:52:19Z) - Beyond Calibration: Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.2359781747539396]
ディープネットワークは、しばしば過剰な自信と不一致な予測分布に悩まされる。
本稿では,条件付きカーネルの平均埋め込みを用いて,学習した予測分布とデータセットにおける経験的条件分布との距離を推定する,条件付きコングルーエンス誤差(CCE)について紹介する。
本研究では,1)データ生成プロセスが知られている場合の分布間の不一致を正確に定量化し,2)実世界の高次元画像回帰タスクに効果的にスケールし,3)未知のインスタンス上でのモデルの信頼性を評価することができることを示す。
論文 参考訳（メタデータ） (2024-05-20T23:30:07Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - When Rigidity Hurts: Soft Consistency Regularization for Probabilistic
Hierarchical Time Series Forecasting [69.30930115236228]
確率的階層的時系列予測は時系列予測の重要な変種である。
ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。
ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
論文 参考訳（メタデータ） (2023-10-17T20:30:16Z) - Variational Inference with Coverage Guarantees in Simulation-Based Inference [18.818573945984873]
コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。
CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。
我々は,CANVIが生成する領域の予測効率の低い境界を証明し,その近似に基づいて,後部近似の品質と予測領域の予測効率の関係について検討する。
論文 参考訳（メタデータ） (2023-05-23T17:24:04Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳（メタデータ） (2023-01-25T19:35:23Z) - Calibrated Selective Classification [34.08454890436067]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳（メタデータ） (2022-08-25T13:31:09Z) - When Rigidity Hurts: Soft Consistency Regularization for Probabilistic
Hierarchical Time Series Forecasting [69.30930115236228]
確率的階層的時系列予測は時系列予測の重要な変種である。
ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。
ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
論文 参考訳（メタデータ） (2022-06-16T06:13:53Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳（メタデータ） (2020-08-07T08:22:26Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。