論文の概要: Using Platt's scaling for calibration after undersampling -- limitations and how to address them

• arxiv url: http://arxiv.org/abs/2410.18144v1
• Date: Tue, 22 Oct 2024 16:30:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:49:04.253744
• Title: Using Platt's scaling for calibration after undersampling -- limitations and how to address them
• Title（参考訳）: アンダーサンプリング後のキャリブレーションにPlattのスケーリングを使用する -- 制限と対処方法
• Authors: Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford,
• Abstract要約: シミュレーション研究やケーススタディを通じて解析的にPlattのスケーリングはアンダーサンプリング後のキャリブレーションには使用すべきでないことを示した。 我々は、ベースモデルの予測のロジットに、ロジスティックな一般化された加算モデルに適合する、プラットのスケーリングの修正版を推奨する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: When modelling data where the response is dichotomous and highly imbalanced, response-based sampling where a subset of the majority class is retained (i.e., undersampling) is often used to create more balanced training datasets prior to modelling. However, the models fit to this undersampled data, which we refer to as base models, generate predictions that are severely biased. There are several calibration methods that can be used to combat this bias, one of which is Platt's scaling. Here, a logistic regression model is used to model the relationship between the base model's original predictions and the response. Despite its popularity for calibrating models after undersampling, Platt's scaling was not designed for this purpose. Our work presents what we believe is the first detailed study focused on the validity of using Platt's scaling to calibrate models after undersampling. We show analytically, as well as via a simulation study and a case study, that Platt's scaling should not be used for calibration after undersampling without critical thought. If Platt's scaling would have been able to successfully calibrate the base model had it been trained on the entire dataset (i.e., without undersampling), then Platt's scaling might be appropriate for calibration after undersampling. If this is not the case, we recommend a modified version of Platt's scaling that fits a logistic generalized additive model to the logit of the base model's predictions, as it is both theoretically motivated and performed well across the settings considered in our study.
• Abstract（参考訳）: 応答が二項化され、高度に不均衡なデータモデリングでは、多数派クラスのサブセット(アンダーサンプリング)が保持されるレスポンスベースのサンプリングが、モデリングに先立ってよりバランスの取れたトレーニングデータセットを作成するためにしばしば使用される。 しかし、このアンダーサンプリングされたデータに適合するモデルは、ベースモデルと呼ばれ、非常に偏りのある予測を生成する。 このバイアスに対処するためにいくつかのキャリブレーション手法があり、そのうちの1つはPlattのスケーリングである。 ここでは、ロジスティック回帰モデルを用いて、ベースモデルの元々の予測と応答の関係をモデル化する。 アンダーサンプリング後にモデルの校正に人気があったにもかかわらず、プラットのスケーリングはこの目的のために設計されなかった。 我々の研究は、プラットのスケーリングを用いてアンダーサンプリング後のモデルのキャリブレーションを行うことの妥当性に焦点を当てた最初の詳細な研究である。 シミュレーション研究やケーススタディを通じて解析的にPlattのスケーリングは批判的思考を伴わずにアンダーサンプリング後のキャリブレーションに使用すべきでないことを示す。 もしプラットのスケーリングがデータセット全体(例えばアンダーサンプリングなしで)でトレーニングされた場合、ベースモデルのキャリブレーションに成功できたなら、プラットのスケーリングはアンダーサンプリング後のキャリブレーションに適しているかもしれない。 もしそうでなければ、理論的に動機付けされ、我々の研究で考慮された設定でうまく実行されるため、基本モデルの予測のロジットにロジスティックな一般化された加法的モデルに適合するPlattのスケーリングの修正版を推奨する。

関連論文リスト

• A Hitchhiker's Guide to Scaling Law Estimation [56.06982415792523]
  スケーリング法則は、より少ないパラメータやより少ないトレーニングセットで訓練が容易なモデルから外挿することで、ターゲットとなる機械学習モデルの損失を予測する。 我々は1000以上のスケーリング法則を推定し、新しいモデルファミリーにおけるスケーリング法則を推定するためのベストプラクティスを導出する。
  論文  参考訳（メタデータ） (2024-10-15T17:59:10Z)
• Post-Hoc Reversal: Are We Selecting Models Prematurely? [13.910702424593797]
  ポストホック変換を適用した後に性能傾向が逆転するポストホック逆転現象を示す。 予備的な分析は、これらの変換が、誤ラベルされた例の影響を抑えることによって、逆転を引き起こすことを示唆している。 ポストホック選択(post-hoc selection)は、ポストホックメトリクスがモデル開発決定を通知するシンプルな手法である。
  論文  参考訳（メタデータ） (2024-04-11T14:58:19Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Data Feedback Loops: Model-driven Amplification of Dataset Biases [9.773315369593876]
  我々は、あるモデルとのインタラクションを履歴として記録し、将来トレーニングデータとしてスクラップ化するシステムを定式化する。 テスト時間偏差統計に対する変化を追跡することによって、その安定性を経時的に分析する。 バイアス増幅の度合いは、モデルの出力がトレーニング分布のサンプルのように振る舞うかどうかと密接に関連していることがわかった。
  論文  参考訳（メタデータ） (2022-09-08T17:35:51Z)
• Dropout Inference with Non-Uniform Weight Scaling [6.726255259929496]
  正規化としてのドロップアウトは、ニューラルネットワークのトレーニングの過度な適合を防ぐために広く使用されている。 本研究では,いくつかのサブモデルが高バイアスモデルに近づき,一様でないウェイトスケーリングが推論の近似として優れているシナリオを実証する。
  論文  参考訳（メタデータ） (2022-04-27T16:41:12Z)
• On Model Calibration for Long-Tailed Object Detection and Instance Segmentation [56.82077636126353]
  NorCal, Normalized for long-tailed object detection and instance segmentation。 バックグラウンドクラスを個別に扱い、各提案のクラスに対してスコアを正規化することは、優れたパフォーマンスを達成するための鍵であることを示す。
  論文  参考訳（メタデータ） (2021-07-05T17:57:20Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Quantile Regularization: Towards Implicit Calibration of Regression Models [30.872605139672086]
  2つのCDF間の累積KL分散として定義される新しい量子正規化器に基づく回帰モデルの校正法を提案する。 提案手法は,Dropout VI や Deep Ensembles といった手法を用いて学習した回帰モデルのキャリブレーションを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2020-02-28T16:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。