論文の概要: How Good is the Bayes Posterior in Deep Neural Networks Really?

• arxiv url: http://arxiv.org/abs/2002.02405v2
• Date: Thu, 2 Jul 2020 22:18:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 10:11:09.471485
• Title: How Good is the Bayes Posterior in Deep Neural Networks Really?
• Title（参考訳）: ディープニューラルネットワークのベイズが本当に優れているのか?
• Authors: Florian Wenzel, Kevin Roth, Bastiaan S. Veeling, Jakub \'Swi\k{a}tkowski, Linh Tran, Stephan Mandt, Jasper Snoek, Tim Salimans, Rodolphe Jenatton, Sebastian Nowozin
• Abstract要約: 我々は、人気のあるディープニューラルネットワークにおけるベイズ後部の現在の理解に疑問を投げかけた。 我々は,ベイズ後縁から誘導される後縁予測が系統的に悪くなることをMCMCサンプリングを用いて実証した。 寒冷な後部を説明できる仮説をいくつか提示し,実験を通じて仮説を評価した。
• 参考スコア（独自算出の注目度）: 46.66866466260469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: During the past five years the Bayesian deep learning community has developed increasingly accurate and efficient approximate inference procedures that allow for Bayesian inference in deep neural networks. However, despite this algorithmic progress and the promise of improved uncertainty quantification and sample efficiency there are---as of early 2020---no publicized deployments of Bayesian neural networks in industrial practice. In this work we cast doubt on the current understanding of Bayes posteriors in popular deep neural networks: we demonstrate through careful MCMC sampling that the posterior predictive induced by the Bayes posterior yields systematically worse predictions compared to simpler methods including point estimates obtained from SGD. Furthermore, we demonstrate that predictive performance is improved significantly through the use of a "cold posterior" that overcounts evidence. Such cold posteriors sharply deviate from the Bayesian paradigm but are commonly used as heuristic in Bayesian deep learning papers. We put forward several hypotheses that could explain cold posteriors and evaluate the hypotheses through experiments. Our work questions the goal of accurate posterior approximations in Bayesian deep learning: If the true Bayes posterior is poor, what is the use of more accurate approximations? Instead, we argue that it is timely to focus on understanding the origin of the improved performance of cold posteriors.
• Abstract（参考訳）: 過去5年間で、ベイジアンディープラーニングコミュニティは、ディープニューラルネットワークでベイジアン推論を可能にする、より正確で効率的な近似推論手順を開発してきた。 しかし、このアルゴリズムの進歩と不確実性定量化の改善とサンプル効率の約束にもかかわらず、2020年初め現在、産業実践におけるベイズニューラルネットワークの公開デプロイは行われていない。 本研究では,一般の深層ニューラルネットワークにおけるベイズ後部の理解に疑問を呈し,ベイズ後部による後部予測がSGDから得られた点推定を含む単純な手法と比較して系統的に悪い予測を行うことを示す。 さらに,証拠を過大評価する"コールド後部"を用いることで,予測性能が大幅に向上することを示す。 このような冷たい後部はベイズパラダイムから著しく逸脱するが、ベイズ深層学習論文ではヒューリスティックとしてよく使われている。 寒冷な後部を説明できる仮説をいくつか提示し,実験を通じて仮説を評価した。 我々の研究は、ベイズ深層学習における正確な後方近似の目的に疑問を呈している: 真のベイズ深層が貧弱なら、より正確な近似はどのように使われるのだろうか? 代わりに,寒冷後部の性能向上の原点を理解することに集中することが適当であると主張する。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Hessian-Free Laplace in Bayesian Deep Learning [44.16006844888796]
  Hessian-free Laplace (HFL)近似は、その分散を推定するために、ログ後部とネットワーク予測の両方の曲率を使用する。 ベイズ深層学習におけるLAの標準的な仮定の下では、HFLはLAと同じ分散を目標とし、事前学習されたネットワークで効率よく再生可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-15T20:47:39Z)
• Towards Improved Variational Inference for Deep Bayesian Models [7.841254447222393]
  本論では,変分推論(VI)を近似として用いることを検討する。 VI は後部を同時に近似し、限界度に低い境界を与えるという点で特異である。 本稿ではベイズニューラルネットワークと深いガウス過程における推論の統一的なビューを提供する変分後部を提案する。
  論文  参考訳（メタデータ） (2024-01-23T00:40:20Z)
• Neural Importance Sampling for Rapid and Reliable Gravitational-Wave Inference [59.040209568168436]
  まず、ニューラルネットワークを用いてベイズ後部への高速な提案を行い、その基礎となる可能性と事前に基づいて重み付けを行う。 本発明は,(1)ネットワーク不正確性のない修正後部,(2)提案案の評価と故障事例の同定のための性能診断(サンプル効率),(3)ベイズ証拠の偏りのない推定を提供する。 LIGOとVirgoで観測された42個のブラックホールをSEOBNRv4PHMとIMRPhenomHMXP波形モデルで解析した。
  論文  参考訳（メタデータ） (2022-10-11T18:00:02Z)
• Posterior temperature optimized Bayesian models for inverse problems in medical imaging [59.82184400837329]
  本研究は, 医用画像における逆問題に対する非教師的ベイズ的アプローチである。 最適化後温度が精度の向上と不確実性評価に繋がることを示す。 ソースコードは calibrated.com/Cardio-AI/mfvi-dip-mia で公開されています。
  論文  参考訳（メタデータ） (2022-02-02T12:16:33Z)
• A statistical theory of cold posteriors in deep neural networks [32.45282187405337]
  画像分類のためのBNNは間違った可能性を持っていることを示す。 特に、CIFAR-10のような標準画像ベンチマークデータセットは慎重にキュレートされる。
  論文  参考訳（メタデータ） (2020-08-13T13:46:58Z)
• Statistical Foundation of Variational Bayes Neural Networks [0.456877715768796]
  変分ベイズ(VB)は、真の後部からのサンプルの生成に伴う計算コストと時間の複雑さを回避するための有用な代替手段を提供する。 本稿では, フィードフォワード人工ニューラルネットワークモデルにおける平均場変動後部(VP)の後方整合性の基本的結果について述べる。
  論文  参考訳（メタデータ） (2020-06-29T03:04:18Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。