論文の概要: Post-hoc loss-calibration for Bayesian neural networks
- arxiv url: http://arxiv.org/abs/2106.06997v1
- Date: Sun, 13 Jun 2021 13:53:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 15:47:34.628361
- Title: Post-hoc loss-calibration for Bayesian neural networks
- Title(参考訳): ベイズニューラルネットワークのポストホック損失校正
- Authors: Meet P. Vadera, Soumya Ghosh, Kenney Ng, Benjamin M. Marlin
- Abstract要約: 本研究では, 近似的後続予測分布の補正手法を開発し, 高ユーティリティな意思決定を推奨する。
従来の研究とは対照的に、我々のアプローチは近似推論アルゴリズムの選択に非依存である。
- 参考スコア(独自算出の注目度): 25.05373000435213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian decision theory provides an elegant framework for acting optimally
under uncertainty when tractable posterior distributions are available. Modern
Bayesian models, however, typically involve intractable posteriors that are
approximated with, potentially crude, surrogates. This difficulty has
engendered loss-calibrated techniques that aim to learn posterior
approximations that favor high-utility decisions. In this paper, focusing on
Bayesian neural networks, we develop methods for correcting approximate
posterior predictive distributions encouraging them to prefer high-utility
decisions. In contrast to previous work, our approach is agnostic to the choice
of the approximate inference algorithm, allows for efficient test time decision
making through amortization, and empirically produces higher quality decisions.
We demonstrate the effectiveness of our approach through controlled experiments
spanning a diversity of tasks and datasets.
- Abstract(参考訳): ベイズ決定理論は、扱いやすい後方分布が利用可能であるときに不確実性の下で最適に振る舞うためのエレガントな枠組みを提供する。
しかし、現代のベイズモデルでは、通常、粗いサロゲートに近似する難解な後部を含む。
この困難さは、高ユーティリティな決定を優先する後部近似を学習することを目的とした損失校正技術を生み出した。
本稿では,ベイズニューラルネットワークに着目して,近似的後続予測分布の補正手法を開発し,高ユーティリティな決定を推奨する。
これまでの研究とは対照的に、このアプローチは近似推論アルゴリズムの選択に無関係であり、償却を通じて効率的なテスト時間決定を可能にし、経験的に高い品質の決定を生み出す。
タスクやデータセットの多様性にまたがる制御実験により,本手法の有効性を実証する。
関連論文リスト
- Model-Free Local Recalibration of Neural Networks [0.0]
可算確率予測は、多くの重要な意思決定タスクに限られている。
入力の次元再現表現を用いたANN予測分布の局所的再分類を提案する。
提案手法は,代替手法と比較して優れた性能を示す。
論文 参考訳(メタデータ) (2024-03-09T01:58:45Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy
Optimization [63.32053223422317]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - Learning MDPs from Features: Predict-Then-Optimize for Sequential
Decision Problems by Reinforcement Learning [52.74071439183113]
我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。
2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
論文 参考訳(メタデータ) (2021-06-06T23:53:31Z) - Towards Trustworthy Predictions from Deep Neural Networks with Fast
Adversarial Calibration [2.8935588665357077]
本稿では,ドメインシフト後に得られたサンプルに対して,信頼度の高い信頼度を得るための効率的かつ汎用的なモデリング手法を提案する。
本稿では,エントロピー増大損失項と逆キャリブレーション損失項を組み合わせた新しいトレーニング戦略を導入し,この結果が適切に調整され,技術的に信頼できる予測となることを示す。
論文 参考訳(メタデータ) (2020-12-20T13:39:29Z) - Data-Driven Robust Optimization using Unsupervised Deep Learning [0.0]
逆問題に対して凸混合整数プログラムとして定式化することにより、トレーニングされたニューラルネットワークをロバストな最適化モデルに統合できることを示す。
このアプローチは、カーネルベースのサポートベクターセットを用いて、同様のアプローチより優れていることが判明した。
論文 参考訳(メタデータ) (2020-11-19T11:06:54Z) - Efficient Variational Inference for Sparse Deep Learning with
Theoretical Guarantee [20.294908538266867]
スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。
本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。
我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
論文 参考訳(メタデータ) (2020-11-15T03:27:54Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳(メタデータ) (2020-09-01T19:12:11Z) - Revisiting One-vs-All Classifiers for Predictive Uncertainty and
Out-of-Distribution Detection in Neural Networks [22.34227625637843]
識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。
画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
論文 参考訳(メタデータ) (2020-07-10T01:55:02Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳(メタデータ) (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。