論文の概要: Quantile Regularization: Towards Implicit Calibration of Regression Models

• arxiv url: http://arxiv.org/abs/2002.12860v1
• Date: Fri, 28 Feb 2020 16:53:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 01:38:00.301497
• Title: Quantile Regularization: Towards Implicit Calibration of Regression Models
• Title（参考訳）: 分位正規化:回帰モデルの暗黙的キャリブレーションに向けて
• Authors: Saiteja Utpala and Piyush Rai
• Abstract要約: 2つのCDF間の累積KL分散として定義される新しい量子正規化器に基づく回帰モデルの校正法を提案する。 提案手法は,Dropout VI や Deep Ensembles といった手法を用いて学習した回帰モデルのキャリブレーションを大幅に改善することを示す。
• 参考スコア（独自算出の注目度）: 30.872605139672086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have shown that most deep learning models are often poorly calibrated, i.e., they may produce overconfident predictions that are wrong. It is therefore desirable to have models that produce predictive uncertainty estimates that are reliable. Several approaches have been proposed recently to calibrate classification models. However, there is relatively little work on calibrating regression models. We present a method for calibrating regression models based on a novel quantile regularizer defined as the cumulative KL divergence between two CDFs. Unlike most of the existing approaches for calibrating regression models, which are based on post-hoc processing of the model's output and require an additional dataset, our method is trainable in an end-to-end fashion without requiring an additional dataset. The proposed regularizer can be used with any training objective for regression. We also show that post-hoc calibration methods like Isotonic Calibration sometimes compound miscalibration whereas our method provides consistently better calibrations. We provide empirical results demonstrating that the proposed quantile regularizer significantly improves calibration for regression models trained using approaches, such as Dropout VI and Deep Ensembles.
• Abstract（参考訳）: 近年の研究では、ほとんどのディープラーニングモデルは校正が不十分な場合が多いことが示されている。 したがって、信頼できる予測の不確実性推定を生成するモデルを持つことが望ましい。 近年,分類モデルの校正手法が提案されている。 しかし、回帰モデルを校正する作業は比較的少ない。 2つのCDF間の累積KL分散として定義される新しい量子正規化器に基づく回帰モデルの校正法を提案する。 モデル出力のポストホック処理をベースとして,追加のデータセットを必要とする回帰モデルのキャリブレーションを行う既存のアプローチとは異なり,本手法は,追加のデータセットを必要としないエンドツーエンドでトレーニング可能である。 提案する正規化器は、回帰のためのトレーニング目的に使用できる。 また,アイソトニックキャリブレーションのようなポストホックキャリブレーション法は複雑な誤校正を行う場合もあるが,本手法は一貫してより良い校正を行う。 本研究では,Dropout VI や Deep Ensembles といった手法を用いて学習した回帰モデルのキャリブレーションを大幅に改善することを示す実験結果を示す。

関連論文リスト

• Reassessing How to Compare and Improve the Calibration of Machine Learning Models [7.183341902583164]
  結果の予測確率がモデル予測に基づいてその結果の観測周波数と一致した場合、機械学習モデルを校正する。 キャリブレーションと予測の指標が追加の一般化の指標を伴わない限り、最先端のように見えるような簡単な再校正手法が存在することを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:33:45Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Revisiting Calibration for Question Answering [16.54743762235555]
  従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。 モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
  論文  参考訳（メタデータ） (2022-05-25T05:49:56Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Revisiting the Calibration of Modern Neural Networks [44.26439222399464]
  現代のニューラルネットワークにおける誤校正の多くの事例が報告されており、より新しい、より正確なモデルが低い校正された予測を生み出す傾向が示唆されている。 モデルキャリブレーションと精度を体系的に関連付け,最新のモデル,特に畳み込みを使用しないモデルが最適なキャリブレーションであることを示す。 また,モデルサイズと事前学習量の差が完全には説明できないことを示し,アーキテクチャがキャリブレーション特性の主要な決定要因であることを示唆した。
  論文  参考訳（メタデータ） (2021-06-15T09:24:43Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。