論文の概要: Dangers of Bayesian Model Averaging under Covariate Shift
- arxiv url: http://arxiv.org/abs/2106.11905v1
- Date: Tue, 22 Jun 2021 16:19:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-23 15:11:00.625974
- Title: Dangers of Bayesian Model Averaging under Covariate Shift
- Title（参考訳）: 共変量シフト下における平均ベイズ模型の危険度
- Authors: Pavel Izmailov, Patrick Nicholson, Sanae Lotfi, Andrew Gordon Wilson
- Abstract要約: 我々は、共変量シフトの下で、ベイズ平均が実際にどのように問題となるかを示す。
また、同じ問題が多くの近似推論手順に影響を及ぼさない理由も示す。
- 参考スコア（独自算出の注目度）: 45.20204749251884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Approximate Bayesian inference for neural networks is considered a robust
alternative to standard training, often providing good performance on
out-of-distribution data. However, Bayesian neural networks (BNNs) with
high-fidelity approximate inference via full-batch Hamiltonian Monte Carlo
achieve poor generalization under covariate shift, even underperforming
classical estimation. We explain this surprising result, showing how a Bayesian
model average can in fact be problematic under covariate shift, particularly in
cases where linear dependencies in the input features cause a lack of posterior
contraction. We additionally show why the same issue does not affect many
approximate inference procedures, or classical maximum a-posteriori (MAP)
training. Finally, we propose novel priors that improve the robustness of BNNs
to many sources of covariate shift.
- Abstract（参考訳）: ニューラルネットワークの近似ベイズ推論は、標準的なトレーニングに代わるロバストな方法と考えられており、しばしば分散データの優れたパフォーマンスを提供する。
しかし、フルバッチハミルトニアンモンテカルロによる高忠実度近似推論を持つベイズニューラルネットワーク(BNN)は、古典的推定を下回ったとしても、共変量シフトの下での一般化が不十分である。
この驚くべき結果を説明し、特に入力特徴の線形依存性が後方収縮の欠如を引き起こす場合において、ベイズモデル平均が実際どのように共変シフト下で問題となるかを示す。
さらに、同じ問題が多くの近似推論手順や古典的な最大 a-posteriori (map) トレーニングに影響を与えない理由を示す。
最後に,多くの共変量シフト源に対するBNNのロバスト性を改善する新しい先行手法を提案する。
関連論文リスト
- Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。
崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。
提案手法は, スケーラビリティと精度のバランスをとる。
論文 参考訳（メタデータ） (2023-06-16T08:34:42Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。
最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。
GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文 参考訳（メタデータ） (2022-10-24T03:00:01Z) - Tackling covariate shift with node-based Bayesian neural networks [26.64657196802115]
ノードベースのBNNは、各隠れノードに潜在確率変数を乗じ、重みの点推定を学習することで不確実性を誘導する。
本稿では、これらの潜伏雑音変数を、訓練中の単純およびドメインに依存しないデータ摂動の暗黙的表現として解釈する。
論文 参考訳（メタデータ） (2022-06-06T08:56:19Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳（メタデータ） (2020-08-19T12:35:55Z) - Investigating maximum likelihood based training of infinite mixtures for
uncertainty quantification [16.30200782698554]
変分推論の代わりに最大極大法を用いて無限混合分布を訓練する効果について検討する。
提案手法は, 予測分散が増大し, 敵ネットワークに繋がることがわかった。
論文 参考訳（メタデータ） (2020-08-07T14:55:53Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。