論文の概要: Posterior Temperature Optimization in Variational Inference
- arxiv url: http://arxiv.org/abs/2106.07533v1
- Date: Fri, 11 Jun 2021 13:01:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 15:33:05.949138
- Title: Posterior Temperature Optimization in Variational Inference
- Title(参考訳): 変分推論における後温度最適化
- Authors: Max-Heinrich Laves, Malte T\"olle, Alexander Schlaefer
- Abstract要約: ディープラーニングの文脈では、コールドフォレストは実践上より優れていることが報告されている。
本研究は,まず,平均場変動推定において,完全に温められた後部のためにELBOを導出する。
次にベイズ最適化を用いて最適後温度を自動的に求める。
- 参考スコア(独自算出の注目度): 69.50862982117127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cold posteriors have been reported to perform better in practice in the
context of Bayesian deep learning (Wenzel2020 et al., 2020). In variational
inference, it is common to employ only a partially tempered posterior by
scaling the complexity term in the log-evidence lower bound (ELBO). In this
work, we first derive the ELBO for a fully tempered posterior in mean-field
variational inference and subsequently use Bayesian optimization to
automatically find the optimal posterior temperature. Choosing an appropriate
posterior temperature leads to better predictive performance and improved
uncertainty calibration, which we demonstrate for the task of denoising medical
X-ray images.
- Abstract(参考訳): ベイズ深層学習(wenzel2020 et al., 2020)の文脈において、寒冷な後方部は実践的に優れていると報告されている。
変分推論では、ログエビデンス下界(ELBO)の複雑性項をスケーリングすることで、部分的に温められた後面のみを用いるのが一般的である。
本研究は,まず,平均場変動推定における完全誘電体後部からELBOを導出し,その後ベイズ最適化を用いて最適後部温度を自動的に検出する。
適切な後方温度を選択すると予測性能が向上し,不確実性校正が向上する。
関連論文リスト
- Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - The fine print on tempered posteriors [4.503508912578133]
我々は,温床後部を詳細に調査し,いくつかの重要かつ未特定な点を明らかにした。
以前の研究とは対照的に、最終的にPAC-Bayesian分析により、$lambda$の温度は、不一致の事前または可能性の修正として見ることはできないことを示した。
論文 参考訳(メタデータ) (2023-09-11T08:21:42Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳(メタデータ) (2022-05-27T11:13:17Z) - Posterior temperature optimized Bayesian models for inverse problems in
medical imaging [59.82184400837329]
本研究は, 医用画像における逆問題に対する非教師的ベイズ的アプローチである。
最適化後温度が精度の向上と不確実性評価に繋がることを示す。
ソースコードは calibrated.com/Cardio-AI/mfvi-dip-mia で公開されています。
論文 参考訳(メタデータ) (2022-02-02T12:16:33Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2021-02-24T10:18:30Z) - Variational Laplace for Bayesian neural networks [33.46810568687292]
我々はベイズニューラルネットワーク(BNN)のための変分ラプラスを開発する。
我々は,ニューラルネットワークの重みをサンプリングすることなく,ELBOの曲率を局所的に近似し,ELBOを推定する。
分散パラメータの学習率を増大させることにより,早期停止を回避できることを示す。
論文 参考訳(メタデータ) (2020-11-20T15:16:18Z) - Quantized Variational Inference [6.09170287691728]
ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。
量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
論文 参考訳(メタデータ) (2020-11-04T13:22:50Z) - Cold Posteriors and Aleatoric Uncertainty [32.341379426923105]
近年の研究では、ベイズニューラルネットワークの正確な推論は、検証セットで後部の「温度」をチューニングすることで達成されている。
我々は,多くの分類データセットにおいて,ラベルのアレラトリック不確実性を著しく過大評価することができることを論じる。
論文 参考訳(メタデータ) (2020-07-31T18:37:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。