論文の概要: The Hidden Cost of Resampling: How Imbalance Correction Degrades Probability Calibration in Tree Ensembles
- arxiv url: http://arxiv.org/abs/2606.29720v1
- Date: Mon, 29 Jun 2026 02:55:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.025696
- Title: The Hidden Cost of Resampling: How Imbalance Correction Degrades Probability Calibration in Tree Ensembles
- Title（参考訳）: 再サンプリングの隠れたコスト:不均衡補正が木組の確率校正をいかに低下させるか
- Abstract要約: SMOTEは、前者だけでなく、クラス条件密度を歪めるので、データ駆動の再校正は依然として必要である。
不均衡学習研究は、差別とともに校正を報告し、予測された確率が決定を下すと、実践者は再サンプリング後に校正することを推奨する。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Resampling methods such as SMOTE and random under/over-sampling are standard tools for class-imbalanced classification, almost always evaluated by minority-class accuracy or F1. Prior work has established that undersampling degrades probability calibration by distorting the training prior [1]. We extend this lens to synthetic oversampling (SMOTE) and provide a practical, evidence-based guide to when calibration damage matters and how to fix it. Across five public datasets (imbalance ratio 1.9-70) and two ensemble models (random forest, gradient boosting), with ten seeds and paired statistics, we find: (1) SMOTE's calibration cost is real but small (ECE +0.009; Cliff's delta = +0.27, small-to-moderate) across the studied imbalance range (IR 1.9-70) and its discrimination gains typically outweigh the calibration penalty; (2) random undersampling is the genuine danger -- its damage grows sharply with imbalance, inflating ECE from 0.008 to 0.395 on a dataset with ratio 70, largely because the resulting training sets are too small to estimate probabilities reliably; (3) a single post-hoc recalibration step (Platt or isotonic) eliminates the damage, reducing ECE by up to 66% at a negligible ranking-power cost (AUC -0.002, Cliff's delta = -0.07); and (4) the analytic prior-shift correction that repairs undersampling does not transfer to SMOTE, because SMOTE distorts the class-conditional density rather than only the prior -- so data-driven recalibration remains necessary. We recommend that imbalanced-learning studies report calibration alongside discrimination, and that practitioners recalibrate after resampling whenever predicted probabilities drive decisions.
- Abstract（参考訳）: SMOTEやランダムアンダー/オーバーサンプリングといったリサンプリング手法は、ほとんど常にマイノリティクラスの精度(F1)によって評価される、クラス不均衡な分類のための標準ツールである。
事前の作業では、アンダーサンプリングは事前のトレーニングを歪ませることによって確率キャリブレーションを低下させることが確立されている[1]。
我々は、このレンズを合成オーバーサンプリング(SMOTE)に拡張し、キャリブレーション損傷がいつ重要か、どのように修正するかを実践的でエビデンスに基づくガイドを提供する。
1) SMOTEのキャリブレーションコストは実際のものの小さい(ECE +0.009; Cliff's delta = +0.27, small-to-moderate, Cliff's delta = +0.27, small-to-moderate)。
不均衡学習研究は、差別とともに校正を報告し、予測された確率が決定を下すと、実践者は再サンプリング後に校正することを推奨する。
関連論文リスト
- Reliability-Aware Hybrid-K Ensemble Selection for Cervical Cytology Classification: Integrating Discrimination, Calibration, and Selective Prediction [3.093890460224435]
本研究では,マルチクラス頚椎分類のための信頼性を考慮したハイブリッド-Kアンサンブル選択フレームワークを提案する。
9つのディープラーニングアーキテクチャを,固定成層5倍分割と3つの訓練種子を用いて評価した。
Swin-TinyとTinyViT-5Mからなる最後のハイブリッド2アンサンブルは、AURCを43%減らし、NLLを17%減らし、WC-ECEを36%減らした。
論文 参考訳（メタデータ） (2026-09-01T02:30:41Z) - Reliability-Aware Ensemble Classification Under Class Imbalance: A Calibration Study on Liquid-Based Cervical Cytology [3.093890460224435]
本稿では,Mendley LBCデータセットを用いたクラス不均衡とキャリブレーションを考慮したアンサンブル分類について述べる。
3つの軽量アーキテクチャは、重み付きランダムサンプリングを用いてMendley LBC上で直接訓練され、クラス不均衡に対処する。
その結果, キャリブレーションはアンサンブルサイズではなく, 信頼性の高いレバーであることがわかった。
論文 参考訳（メタデータ） (2026-07-10T16:41:18Z) - Uncertainty-Aware Post-Hoc Calibration: Mitigating Confidently Incorrect Predictions Beyond Calibration Metrics [6.9681910774977815]
本稿では、校正品質と不確実性を考慮した意思決定を向上させるためのポストホック校正フレームワークを提案する。
校正基準,不確実性認識性能測定,実証的コンフォメーションカバレッジを用いて総合評価を行った。
実験により,提案手法はイソトニックおよび焦点損失ベースラインと比較して,信頼性の低い予測精度と競合予測誤差を実現することが示された。
論文 参考訳（メタデータ） (2025-10-19T23:55:36Z) - Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
キャリブレーション・リファインメント分解の新規な変分定式化について述べる。
我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
論文 参考訳（メタデータ） (2025-01-31T15:03:54Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。
以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
論文 参考訳（メタデータ） (2024-06-04T03:35:25Z) - Optimizing Calibration by Gaining Aware of Prediction Correctness [30.619608580138802]
クロスエントロピー(CE)損失はキャリブレータトレーニングに広く使われており、基底真理クラスに対する信頼を高めるためにモデルを強制する。
本稿では, キャリブレーションの目的から得られた, ポストホックキャリブレーションの新たなキャリブレーション手法を提案する。
論文 参考訳（メタデータ） (2024-04-19T17:25:43Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Soft Calibration Objectives for Neural Networks [40.03050811956859]
そこで本研究では,一般的なキャリブレーションエラー推定器のソフト(連続)バージョンに基づくキャリブレーション改善のための差別化可能な損失を提案する。
トレーニングに組み込むと、これらのソフトキャリブレーション損失は、1%未満の精度で、複数のデータセットにまたがる最先端の単一モデルECEを実現する。
論文 参考訳（メタデータ） (2021-07-30T23:30:20Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。