論文の概要: The Case for Bayesian Deep Learning
- arxiv url: http://arxiv.org/abs/2001.10995v1
- Date: Wed, 29 Jan 2020 18:08:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 20:54:55.488026
- Title: The Case for Bayesian Deep Learning
- Title（参考訳）: ベイズ深層学習の場合
- Authors: Andrew Gordon Wilson
- Abstract要約: ベイズ的アプローチの鍵となる特徴は、前者やベイズ規則ではなく最適化ではなく、余分化である。
ベイズ深層学習の最近の進歩は、標準訓練と比較して精度と校正性の向上をもたらす。
- 参考スコア（独自算出の注目度）: 41.54360061376725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The key distinguishing property of a Bayesian approach is marginalization
instead of optimization, not the prior, or Bayes rule. Bayesian inference is
especially compelling for deep neural networks. (1) Neural networks are
typically underspecified by the data, and can represent many different but high
performing models corresponding to different settings of parameters, which is
exactly when marginalization will make the biggest difference for both
calibration and accuracy. (2) Deep ensembles have been mistaken as competing
approaches to Bayesian methods, but can be seen as approximate Bayesian
marginalization. (3) The structure of neural networks gives rise to a
structured prior in function space, which reflects the inductive biases of
neural networks that help them generalize. (4) The observed correlation between
parameters in flat regions of the loss and a diversity of solutions that
provide good generalization is further conducive to Bayesian marginalization,
as flat regions occupy a large volume in a high dimensional space, and each
different solution will make a good contribution to a Bayesian model average.
(5) Recent practical advances for Bayesian deep learning provide improvements
in accuracy and calibration compared to standard training, while retaining
scalability.
- Abstract（参考訳）: ベイズ的アプローチの鍵となる区別特性は、前者やベイズ規則ではなく、最適化ではなく限界化である。
ベイズ推論はディープニューラルネットワークにとって特に説得力がある。
1) ニューラルネットワークは通常、データによって過小評価され、パラメータの異なる設定に対応する多くの異なるがハイパフォーマンスなモデルを表現することができる。
2) 深いアンサンブルはベイズ法と競合するアプローチと誤解されてきたが、近似ベイズ境界化と見なすことができる。
3) ニューラルネットワークの構造は、ニューラルネットワークの一般化に寄与する帰納的バイアスを反映した、関数空間における構造化事前構造を生じさせる。
(4) 損失の平坦な領域におけるパラメータと良い一般化をもたらす解の多様性の相関は、高次元空間において平坦な領域が大きな体積を占め、それぞれの解がベイズモデル平均に良い寄与をするので、ベイズ境界化にさらに寄与する。
(5) ベイズ深層学習の最近の実践的進歩は, スケーラビリティを維持しつつ, 標準訓練に比べて精度と校正性の向上をもたらす。
関連論文リスト
- A Bayesian Approach Toward Robust Multidimensional Ellipsoid-Specific Fitting [0.0]
本研究は, ノイズおよび外周波の汚染における散乱データに多次元楕円体を適合させる, 新規で効果的な方法を提案する。
楕円体領域内でのプリミティブパラメータの探索を制約するために、均一な事前分布を組み込む。
本研究では, 顕微鏡細胞計数, 3次元再構成, 幾何学的形状近似, 磁力計の校正タスクなど, 幅広い応用に応用する。
論文 参考訳（メタデータ） (2024-07-27T14:31:51Z) - Posterior and variational inference for deep neural networks with heavy-tailed weights [0.0]
我々は、ネットワーク重みをランダムにサンプリングする事前分布を持つベイズフレームワークにおいて、ディープニューラルネットワークを考察する。
後部分布は, ほぼ最適のミニマックス収縮速度を達成できることを示す。
また, 実験結果の変分ベイズ版も提供し, 平均場変分近似は, ほぼ最適理論的支援の恩恵を受けていることを示した。
論文 参考訳（メタデータ） (2024-06-05T15:24:20Z) - Towards Improved Variational Inference for Deep Bayesian Models [7.841254447222393]
本論では,変分推論(VI)を近似として用いることを検討する。
VI は後部を同時に近似し、限界度に低い境界を与えるという点で特異である。
本稿ではベイズニューラルネットワークと深いガウス過程における推論の統一的なビューを提供する変分後部を提案する。
論文 参考訳（メタデータ） (2024-01-23T00:40:20Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Deep Discriminative to Kernel Density Graph for In- and Out-of-distribution Calibrated Inference [7.840433908659846]
ランダムフォレストやディープニューラルネットワークのような深い差別的アプローチは、最近、多くの重要な現実世界のシナリオで応用を見出した。
しかし、これらの学習アルゴリズムを安全クリティカルなアプリケーションにデプロイすることは、特に、配布内および配布外の両方のデータポイントの信頼性校正を確実にする際の懸念を提起する。
本稿では,IDとOODの校正問題を共同で解決する。
論文 参考訳（メタデータ） (2022-01-31T05:07:16Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。