論文の概要: Why Calibration Error is Wrong Given Model Uncertainty: Using Posterior Predictive Checks with Deep Learning

• arxiv url: http://arxiv.org/abs/2112.01477v1
• Date: Thu, 2 Dec 2021 18:26:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 15:11:09.695012
• Title: Why Calibration Error is Wrong Given Model Uncertainty: Using Posterior Predictive Checks with Deep Learning
• Title（参考訳）: モデル不確かさを考慮した校正誤りの理由--ディープラーニングを用いた後部予測チェックを用いて
• Authors: Achintya Gopal
• Abstract要約: キャリブレーション誤差とその変種が、モデルの不確実性によってほとんど常に正しくないことを示す。 このミスがいかにして悪いモデルへの信頼と良いモデルへの信頼につながるかを示します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Within the last few years, there has been a move towards using statistical models in conjunction with neural networks with the end goal of being able to better answer the question, "what do our models know?". From this trend, classical metrics such as Prediction Interval Coverage Probability (PICP) and new metrics such as calibration error have entered the general repertoire of model evaluation in order to gain better insight into how the uncertainty of our model compares to reality. One important component of uncertainty modeling is model uncertainty (epistemic uncertainty), a measurement of what the model does and does not know. However, current evaluation techniques tends to conflate model uncertainty with aleatoric uncertainty (irreducible error), leading to incorrect conclusions. In this paper, using posterior predictive checks, we show how calibration error and its variants are almost always incorrect to use given model uncertainty, and further show how this mistake can lead to trust in bad models and mistrust in good models. Though posterior predictive checks has often been used for in-sample evaluation of Bayesian models, we show it still has an important place in the modern deep learning world.
• Abstract（参考訳）: ここ数年、ニューラルネットワークと組み合わせて統計モデルを使うことに動き、最終目標は「我々のモデルは何を知っているのか」という質問に答えることだ。 この傾向から,予測区間被覆確率(PICP)などの古典的指標やキャリブレーション誤差などの新しい指標がモデル評価の一般的なレパートリーに入り,モデルの不確実性が現実とどのように比較されるか,より深い洞察を得ることができた。 不確実性モデリングの重要な要素の1つは、モデルの不確実性(エピステミック不確実性)である。 しかし、現在の評価手法は、モデルの不確かさとアレタリック不確かさ(不正確な誤り)を区別する傾向があり、誤った結論をもたらす。 本稿では, 後続の予測チェックを用いて, キャリブレーション誤差とその変種が, モデルの不確かさをほとんど常に誤っていることを示し, さらに, この誤りが, 悪いモデルへの信頼と良いモデルへの不信につながることを示す。 後続の予測チェックはベイズモデルのインサンプル評価によく用いられるが、現代のディープラーニングの世界では依然として重要な位置にあることを示す。

関連論文リスト

• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Parameter uncertainties for imperfect surrogate models in the low-noise regime [0.3069335774032178]
  我々は、不特定、ほぼ決定論的シュロゲートモデルの一般化誤差を解析する。 遅れた一般化誤差を避けるために、後続分布が全ての訓練点をカバーする必要があることを示す。 これは、原子論的機械学習における1000次元データセットに適用する前に、モデル問題で実証される。
  論文  参考訳（メタデータ） (2024-02-02T11:41:21Z)
• Proximity-Informed Calibration for Deep Neural Networks [49.330703634912915]
  ProCalは、近接性に基づいてサンプル信頼度を調整する理論的保証を持つプラグアンドプレイアルゴリズムである。 ProCalは、近接バイアスに対処し、バランスの取れた、長い、分布シフトの設定の校正を改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-07T16:40:51Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Data Uncertainty without Prediction Models [0.8223798883838329]
  予測モデルを明示的に使用せずに、距離重み付きクラス不純物という不確実性推定手法を提案する。 距離重み付きクラス不純物は予測モデルによらず効果的に機能することを確認した。
  論文  参考訳（メタデータ） (2022-04-25T13:26:06Z)
• Uncertainty estimation under model misspecification in neural network regression [3.2622301272834524]
  モデル選択が不確実性評価に与える影響について検討する。 モデルミスセグメンテーションでは,アレータリック不確実性は適切に捉えられていない。
  論文  参考訳（メタデータ） (2021-11-23T10:18:41Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Revisiting the Calibration of Modern Neural Networks [44.26439222399464]
  現代のニューラルネットワークにおける誤校正の多くの事例が報告されており、より新しい、より正確なモデルが低い校正された予測を生み出す傾向が示唆されている。 モデルキャリブレーションと精度を体系的に関連付け,最新のモデル,特に畳み込みを使用しないモデルが最適なキャリブレーションであることを示す。 また,モデルサイズと事前学習量の差が完全には説明できないことを示し,アーキテクチャがキャリブレーション特性の主要な決定要因であることを示唆した。
  論文  参考訳（メタデータ） (2021-06-15T09:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。