論文の概要: Variational Laplace for Bayesian neural networks

• arxiv url: http://arxiv.org/abs/2011.10443v2
• Date: Tue, 10 Aug 2021 13:20:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 05:23:49.001823
• Title: Variational Laplace for Bayesian neural networks
• Title（参考訳）: ベイズニューラルネットワークの変分ラプラス
• Authors: Ali Unlu, Laurence Aitchison
• Abstract要約: 我々はベイズニューラルネットワーク(BNN)のための変分ラプラスを開発する。 我々は,ニューラルネットワークの重みをサンプリングすることなく,ELBOの曲率を局所的に近似し,ELBOを推定する。 分散パラメータの学習率を増大させることにより,早期停止を回避できることを示す。
• 参考スコア（独自算出の注目度）: 33.46810568687292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop variational Laplace for Bayesian neural networks (BNNs) which exploits a local approximation of the curvature of the likelihood to estimate the ELBO without the need for stochastic sampling of the neural-network weights. The Variational Laplace objective is simple to evaluate, as it is (in essence) the log-likelihood, plus weight-decay, plus a squared-gradient regularizer. Variational Laplace gave better test performance and expected calibration errors than maximum a-posteriori inference and standard sampling-based variational inference, despite using the same variational approximate posterior. Finally, we emphasise care needed in benchmarking standard VI as there is a risk of stopping before the variance parameters have converged. We show that early-stopping can be avoided by increasing the learning rate for the variance parameters.
• Abstract（参考訳）: 我々は,ニューラルネットワークの確率的サンプリングを必要とせずに,ELBOの曲率を局所的に近似して推定するベイズニューラルネットワーク用変分ラプラス(BNN)を開発した。 変分ラプラスの目的は、(本質的には)ログライクリフと重みデカイ、および平方次正則化子として評価することが簡単である。 変動ラプラスは, a-posterioriの最大推定値や標準サンプリングに基づく変分推定値よりも, テスト性能が向上し, 校正誤差が期待された。 最後に、分散パラメータが収束する前に停止するリスクがあるため、標準VIのベンチマークに必要なケアを強調します。 分散パラメータの学習率を増加させることで早期停止を回避できることを示す。

関連論文リスト

• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Variational Bayesian Neural Networks via Resolution of Singularities [1.2183405753834562]
  ベイズニューラルネットワーク(BNN)における変分推論の理論と実践に関連する特異学習理論(SLT)の重要性を提唱する。 本研究では, 下流予測性能, テストログ予測密度, 変動目標との相違点を取り巻く混乱を補う。 我々は,SLT補正形式を特異な後部分布に用いて,変分族自体の設計を知らせる。
  論文  参考訳（メタデータ） (2023-02-13T00:32:49Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Variational Laplace for Bayesian neural networks [25.055754094939527]
  Variational Laplaceは、ニューラルネットワークの重みをサンプリングすることなく、ELBOを推定する可能性の局所近似を利用する。 分散パラメータの学習率を増加させることで早期停止を回避できることを示す。
  論文  参考訳（メタデータ） (2021-02-27T14:06:29Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise Variance Parameterization [3.553493344868413]
  本稿では,予測平均と分散キャリブレーションを検証し,予測分布が有意義なデータを生成する能力を評価するための批評を提案する。 ヘテロセダスティックな分散を多変量に処理するためには、これらのPPCを通過させるために分散を十分に規則化する必要がある。
  論文  参考訳（メタデータ） (2020-06-08T19:58:35Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。