論文の概要: Should Ensemble Members Be Calibrated?

• arxiv url: http://arxiv.org/abs/2101.05397v1
• Date: Wed, 13 Jan 2021 23:59:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 08:06:01.087804
• Title: Should Ensemble Members Be Calibrated?
• Title（参考訳）: アンサンブルメンバーは校正されるべきか?
• Authors: Xixin Wu and Mark Gales
• Abstract要約: 現代のディープニューラルネットワークはしばしば、キャリブレーションが不十分であることが観察される。 ディープラーニングアプローチは、多数のモデルパラメータを利用する。 本稿では,キャリブレーション方式の深層アンサンブルへの適用について検討する。
• 参考スコア（独自算出の注目度）: 16.331175260764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Underlying the use of statistical approaches for a wide range of applications is the assumption that the probabilities obtained from a statistical model are representative of the "true" probability that event, or outcome, will occur. Unfortunately, for modern deep neural networks this is not the case, they are often observed to be poorly calibrated. Additionally, these deep learning approaches make use of large numbers of model parameters, motivating the use of Bayesian, or ensemble approximation, approaches to handle issues with parameter estimation. This paper explores the application of calibration schemes to deep ensembles from both a theoretical perspective and empirically on a standard image classification task, CIFAR-100. The underlying theoretical requirements for calibration, and associated calibration criteria, are first described. It is shown that well calibrated ensemble members will not necessarily yield a well calibrated ensemble prediction, and if the ensemble prediction is well calibrated its performance cannot exceed that of the average performance of the calibrated ensemble members. On CIFAR-100 the impact of calibration for ensemble prediction, and associated calibration is evaluated. Additionally the situation where multiple different topologies are combined together is discussed.
• Abstract（参考訳）: 幅広い応用に統計的アプローチを用いることは、統計モデルから得られる確率が、事象または結果が生じる「真の」確率を表すという仮定である。 残念なことに、現代のディープニューラルネットワークでは、これはそうではない。 さらに、これらの深層学習手法は多数のモデルパラメータを使用し、ベイズ近似(英語版)やアンサンブル近似(英語版)を用いてパラメータ推定の問題に対処する。 本稿では,CIFAR-100という標準画像分類タスクにおいて,理論的にも経験的にも深層アンサンブルへのキャリブレーション手法の適用について検討する。 キャリブレーションの基本的な理論的要件と関連するキャリブレーション基準について最初に述べる。 適切に校正されたアンサンブル部材は必ずしも十分に校正されたアンサンブル予測を得られず、もしアンサンブル予測が十分に校正されたとしても、その性能は校正されたアンサンブル部材の平均性能を上回ることはできない。 CIFAR-100では、アンサンブル予測と関連するキャリブレーションに対するキャリブレーションの影響を評価する。 さらに、複数の異なるトポロジを組み合わせる状況についても論じる。

関連論文リスト

• Reassessing How to Compare and Improve the Calibration of Machine Learning Models [7.183341902583164]
  結果の予測確率がモデル予測に基づいてその結果の観測周波数と一致した場合、機械学習モデルを校正する。 キャリブレーションと予測の指標が追加の一般化の指標を伴わない限り、最先端のように見えるような簡単な再校正手法が存在することを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:33:45Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Fair admission risk prediction with proportional multicalibration [0.16249424686052708]
  マルチキャリブレーション制約は、柔軟に定義されたサブポピュレーション間のキャリブレーション誤差を補正する。 意思決定者は特定のグループに対するモデル予測を信頼するか、不信にするかを学ぶことができる。 本稿では,グループ間および予測ビン内における正の校正誤差を制限する基準である比例多重校正を提案する。
  論文  参考訳（メタデータ） (2022-09-29T08:15:29Z)
• Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
  各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
  論文  参考訳（メタデータ） (2022-03-15T12:46:08Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Obtaining Calibrated Probabilities with Personalized Ranking Models [16.883188358641398]
  ユーザがどれだけアイテムを好むかの、キャリブレーションされた確率を推定する。 本稿では,ガウスキャリブレーションとガンマキャリブレーションの2つのパラメトリックキャリブレーション法を提案する。 キャリブレーション手法を導出するアンバイアスな経験的リスク最小化フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-12-09T11:08:41Z)
• Estimating Expected Calibration Errors [1.52292571922932]
  確率論的予測の不確実性は、モデルが人間の意思決定をサポートするために使用される場合、重要な問題である。 ほとんどのモデルは本質的に十分に校正されていないため、決定スコアは後続確率と一致しない。 我々は、$ECE$推定器の品質を定量化するための実証的な手順を構築し、それを使用して、異なる設定で実際にどの推定器を使用するべきかを決定する。
  論文  参考訳（メタデータ） (2021-09-08T08:00:23Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。