論文の概要: Evaluating Predictive Distributions: Does Bayesian Deep Learning Work?
- arxiv url: http://arxiv.org/abs/2110.04629v1
- Date: Sat, 9 Oct 2021 18:54:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 13:10:38.330267
- Title: Evaluating Predictive Distributions: Does Bayesian Deep Learning Work?
- Title（参考訳）: 予測分布の評価:ベイズ的深層学習は働くか?
- Authors: Ian Osband, Zheng Wen, Seyed Mohammad Asghari, Vikranth Dwaracherla,
Botao Hao, Morteza Ibrahimi, Dieterich Lawson, Xiuyuan Lu, Brendan
O'Donoghue, Benjamin Van Roy
- Abstract要約: 後続の予測分布は、点推定によって無視される不確実性を定量化する。
本稿では,このような予測を生成するエージェントの系統的評価を行うためのツールである,The Neural Testbedを紹介する。
- 参考スコア（独自算出の注目度）: 45.290773422944866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Posterior predictive distributions quantify uncertainties ignored by point
estimates. This paper introduces \textit{The Neural Testbed}, which provides
tools for the systematic evaluation of agents that generate such predictions.
Crucially, these tools assess not only the quality of marginal predictions per
input, but also joint predictions given many inputs. Joint distributions are
often critical for useful uncertainty quantification, but they have been
largely overlooked by the Bayesian deep learning community. We benchmark
several approaches to uncertainty estimation using a neural-network-based data
generating process. Our results reveal the importance of evaluation beyond
marginal predictions. Further, they reconcile sources of confusion in the
field, such as why Bayesian deep learning approaches that generate accurate
marginal predictions perform poorly in sequential decision tasks, how
incorporating priors can be helpful, and what roles epistemic versus aleatoric
uncertainty play when evaluating performance. We also present experiments on
real-world challenge datasets, which show a high correlation with testbed
results, and that the importance of evaluating joint predictive distributions
carries over to real data. As part of this effort, we opensource The Neural
Testbed, including all implementations from this paper.
- Abstract（参考訳）: 後方予測分布は、点推定によって無視される不確かさを定量化する。
本稿では,このような予測を生成するエージェントを体系的に評価するためのツールである \textit{the neural testbed} を紹介する。
重要なのは、これらのツールが入力毎の限界予測の品質だけでなく、多くの入力に対する共同予測も評価することです。
共同分布はしばしば有用な不確実性定量化に不可欠であるが、ベイジアン深層学習コミュニティによって見過ごされている。
我々は,ニューラルネットワークに基づくデータ生成プロセスを用いた不確実性推定手法をいくつかベンチマークする。
その結果,限界予測以上の評価の重要性が明らかとなった。
さらに、正確な限界予測を生成するベイズ的深層学習アプローチが、逐次的決定タスクにおいて不十分な結果をもたらす理由、事前の組み入れがいかに役立つか、パフォーマンスを評価する際にエピステミックとアレタリックの不確実性が果たす役割など、この分野における混乱の源泉を整理する。
また,実世界の課題データセットについて,テストベッド結果と高い相関関係を示し,共同予測分布の評価の重要性を実データに伝達する実験を行った。
この取り組みの一環として、我々はThe Neural Testbedをオープンソース化しました。
関連論文リスト
- Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳（メタデータ） (2023-08-03T12:43:21Z) - Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。
RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
論文 参考訳（メタデータ） (2023-02-28T13:17:56Z) - Fast Uncertainty Estimates in Deep Learning Interatomic Potentials [0.0]
本研究では,単一ニューラルネットワークを用いて,アンサンブルを必要とせずに予測不確実性を推定する手法を提案する。
本研究では,不確実性の推定値の品質が深層アンサンブルから得られた値と一致することを示す。
論文 参考訳（メタデータ） (2022-11-17T20:13:39Z) - Evaluating High-Order Predictive Distributions in Deep Learning [27.076321280462057]
共同予測分布は意思決定における優れた性能に不可欠である。
本稿では,入力のランダムなテキストペアに関連する予測分布に着目したテクスタイディックサンプリングを提案する。
本手法は, 単純なロジスティック回帰を含む高次元のエージェントと, 複雑な合成データと経験データとを効率よく区別できることを実証する。
論文 参考訳（メタデータ） (2022-02-28T02:10:00Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Probabilistic Deep Learning for Instance Segmentation [9.62543698736491]
提案手法は,提案不要なインスタンスセグメンテーションモデルにおけるモデル独立不確実性推定値を得るための汎用的な手法である。
本手法は,BBBC010 C. elegansデータセットを用いて評価し,競合性能を示す。
論文 参考訳（メタデータ） (2020-08-24T19:51:48Z) - Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳（メタデータ） (2020-08-10T17:09:16Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。