論文の概要: Cold Posteriors and Aleatoric Uncertainty
- arxiv url: http://arxiv.org/abs/2008.00029v1
- Date: Fri, 31 Jul 2020 18:37:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 06:03:54.030186
- Title: Cold Posteriors and Aleatoric Uncertainty
- Title(参考訳): 寒冷後部とアリアティック不確かさ
- Authors: Ben Adlam, Jasper Snoek, and Samuel L. Smith
- Abstract要約: 近年の研究では、ベイズニューラルネットワークの正確な推論は、検証セットで後部の「温度」をチューニングすることで達成されている。
我々は,多くの分類データセットにおいて,ラベルのアレラトリック不確実性を著しく過大評価することができることを論じる。
- 参考スコア(独自算出の注目度): 32.341379426923105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has observed that one can outperform exact inference in Bayesian
neural networks by tuning the "temperature" of the posterior on a validation
set (the "cold posterior" effect). To help interpret this phenomenon, we argue
that commonly used priors in Bayesian neural networks can significantly
overestimate the aleatoric uncertainty in the labels on many classification
datasets. This problem is particularly pronounced in academic benchmarks like
MNIST or CIFAR, for which the quality of the labels is high. For the special
case of Gaussian process regression, any positive temperature corresponds to a
valid posterior under a modified prior, and tuning this temperature is directly
analogous to empirical Bayes. On classification tasks, there is no direct
equivalence between modifying the prior and tuning the temperature, however
reducing the temperature can lead to models which better reflect our belief
that one gains little information by relabeling existing examples in the
training set. Therefore although cold posteriors do not always correspond to an
exact inference procedure, we believe they may often better reflect our true
prior beliefs.
- Abstract(参考訳): 近年の研究では、ベイズニューラルネットワークにおいて、検証セット(「コールド後部」効果)で後部の「温度」をチューニングすることで、正確な推論よりも優れていることが観察されている。
この現象を解釈するために、ベイズニューラルネットワークでよく使われる先行は、多くの分類データセット上のラベルのアレラトリック不確かさを著しく過大評価することができると論じる。
この問題は、ラベルの品質が高いMNISTやCIFARのような学術ベンチマークで特に顕著である。
ガウス過程回帰の特別な場合、任意の正の温度は修正前の修正後の有効な後部に対応し、この温度を調整することは経験的ベイズと直接類似する。
分類タスクでは、事前の修正と温度のチューニングの間に直接的な等価性はないが、温度の低下はトレーニングセットの既存の例をリラベルすることで、ほとんど情報を得ることができないという私たちの信念をよりよく反映するモデルにつながる可能性がある。
したがって、冷えた後部は必ずしも正確な推論手順と一致しないが、それらはしばしば我々の真の以前の信念を反映していると信じている。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳(メタデータ) (2024-09-19T17:56:16Z) - Can a Confident Prior Replace a Cold Posterior? [20.018444020989712]
冷間後部の性能をサンプリングし,ほぼ一致させる「DirClip」を導入する。
第2に, 温度低下の限界において, 直接的に寒冷度を近似する「信頼先行」を導入するが, 容易にはサンプル化できない。
論文 参考訳(メタデータ) (2024-03-02T17:28:55Z) - The fine print on tempered posteriors [4.503508912578133]
我々は,温床後部を詳細に調査し,いくつかの重要かつ未特定な点を明らかにした。
以前の研究とは対照的に、最終的にPAC-Bayesian分析により、$lambda$の温度は、不一致の事前または可能性の修正として見ることはできないことを示した。
論文 参考訳(メタデータ) (2023-09-11T08:21:42Z) - On the Limitations of Temperature Scaling for Distributions with
Overlaps [8.486166869140929]
一般的な分布集合に対する経験的リスク最小化器の場合, 温度スケーリング性能は, クラス間の重なり合いによって低下することを示す。
そこで本研究では,Mixupデータ拡張手法によって引き起こされる経験的リスクの修正形式を最適化することで,キャリブレーション性能が良好であることが実証された。
論文 参考訳(メタデータ) (2023-06-01T14:35:28Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - On Uncertainty, Tempering, and Data Augmentation in Bayesian
Classification [47.13680267076843]
本研究では,アレータティック不確実性の明示的説明がベイズニューラルネットワークの性能を著しく向上させることを示す。
寒冷な後部は一つ以上の力によって誘惑され、しばしばより率直に言って、誘惑を伴わないよりもエレタリックな不確実性についての私たちの信念を反映している。
論文 参考訳(メタデータ) (2022-03-30T17:17:50Z) - Posterior temperature optimized Bayesian models for inverse problems in
medical imaging [59.82184400837329]
本研究は, 医用画像における逆問題に対する非教師的ベイズ的アプローチである。
最適化後温度が精度の向上と不確実性評価に繋がることを示す。
ソースコードは calibrated.com/Cardio-AI/mfvi-dip-mia で公開されています。
論文 参考訳(メタデータ) (2022-02-02T12:16:33Z) - Posterior Temperature Optimization in Variational Inference [69.50862982117127]
ディープラーニングの文脈では、コールドフォレストは実践上より優れていることが報告されている。
本研究は,まず,平均場変動推定において,完全に温められた後部のためにELBOを導出する。
次にベイズ最適化を用いて最適後温度を自動的に求める。
論文 参考訳(メタデータ) (2021-06-11T13:01:28Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳(メタデータ) (2020-10-14T18:41:54Z) - A statistical theory of cold posteriors in deep neural networks [32.45282187405337]
画像分類のためのBNNは間違った可能性を持っていることを示す。
特に、CIFAR-10のような標準画像ベンチマークデータセットは慎重にキュレートされる。
論文 参考訳(メタデータ) (2020-08-13T13:46:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。