論文の概要: Bayesian Deep Learning via Subnetwork Inference
- arxiv url: http://arxiv.org/abs/2010.14689v4
- Date: Mon, 14 Mar 2022 13:46:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 04:44:52.666547
- Title: Bayesian Deep Learning via Subnetwork Inference
- Title(参考訳): サブネットワーク推論によるベイズ深層学習
- Authors: Erik Daxberger, Eric Nalisnick, James Urquhart Allingham, Javier
Antor\'an, Jos\'e Miguel Hern\'andez-Lobato
- Abstract要約: モデル重みの小さな部分集合に対して推論を行い、正確な予測後部を得るのに十分であることを示す。
このサブネットワーク推論フレームワークは、そのような部分集合に対して表現的で、そうでなければ、引き起こせない後続近似を使用できる。
- 参考スコア(独自算出の注目度): 2.2835610890984164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Bayesian paradigm has the potential to solve core issues of deep neural
networks such as poor calibration and data inefficiency. Alas, scaling Bayesian
inference to large weight spaces often requires restrictive approximations. In
this work, we show that it suffices to perform inference over a small subset of
model weights in order to obtain accurate predictive posteriors. The other
weights are kept as point estimates. This subnetwork inference framework
enables us to use expressive, otherwise intractable, posterior approximations
over such subsets. In particular, we implement subnetwork linearized Laplace as
a simple, scalable Bayesian deep learning method: We first obtain a MAP
estimate of all weights and then infer a full-covariance Gaussian posterior
over a subnetwork using the linearized Laplace approximation. We propose a
subnetwork selection strategy that aims to maximally preserve the model's
predictive uncertainty. Empirically, our approach compares favorably to
ensembles and less expressive posterior approximations over full networks. Our
proposed subnetwork (linearized) Laplace method is implemented within the
laplace PyTorch library at https://github.com/AlexImmer/Laplace.
- Abstract(参考訳): ベイズパラダイムは、キャリブレーション不足やデータ非効率といったディープニューラルネットワークのコア問題を解決する可能性がある。
残念ながら、大重量空間へのベイズ推論のスケーリングには、しばしば制限的な近似が必要である。
本研究では,モデル重みの小さなサブセット上で推論を行うことで,正確な予測結果を得ることができることを示す。
他の重みは点推定として保持される。
このサブネットワーク推論フレームワークは、そのような部分集合上で表現力があり、さもなくば難解な後方近似を使うことができる。
特に,単純でスケーラブルなベイズ深層学習法としてサブネットワーク線形化ラプラスを実装した:まず,全重みのマップ推定を取得し,線形化ラプラス近似を用いてサブネットワーク上の全共分散ガウス後方を推定する。
本稿では,モデルの予測不確実性を最大限に保存することを目的としたサブネットワーク選択戦略を提案する。
実験的に,本手法は全ネットワーク上でのアンサンブルや表現力の低い後部近似と良好に比較できる。
提案するサブネットワーク(線形化) Laplace メソッドは https://github.com/AlexImmer/Laplace の Laplace PyTorch ライブラリ内に実装されている。
関連論文リスト
- Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳(メタデータ) (2023-02-21T20:23:56Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳(メタデータ) (2022-12-29T20:57:46Z) - On the optimization and pruning for Bayesian deep learning [1.0152838128195467]
重み空間上でニューラルネットワークを学習するための適応型変分ベイズアルゴリズムを提案する。
EM-MCMCアルゴリズムにより,ワンショットで最適化とモデルプルーニングを行うことができる。
我々の密度モデルは最先端の性能に到達でき、スパースモデルは以前提案したプルーニング方式と比較して非常によく機能する。
論文 参考訳(メタデータ) (2022-10-24T05:18:08Z) - Content Popularity Prediction Based on Quantized Federated Bayesian
Learning in Fog Radio Access Networks [76.16527095195893]
キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。
そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。
我々はベイズ学習を利用してモデルパラメータを訓練する。
論文 参考訳(メタデータ) (2022-06-23T03:05:12Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。
出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。
これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
論文 参考訳(メタデータ) (2021-10-03T07:29:57Z) - The Bayesian Method of Tensor Networks [1.7894377200944511]
ネットワークのベイズ的枠組みを2つの観点から検討する。
本研究では,2次元合成データセットにおけるモデルパラメータと決定境界を可視化することにより,ネットワークのベイズ特性について検討する。
論文 参考訳(メタデータ) (2021-01-01T14:59:15Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳(メタデータ) (2020-08-19T12:35:55Z) - Disentangling the Gauss-Newton Method and Approximate Inference for
Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。
ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。
ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文 参考訳(メタデータ) (2020-07-21T17:42:58Z) - Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。
本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。
実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
論文 参考訳(メタデータ) (2020-07-20T12:07:48Z) - Fast Predictive Uncertainty for Classification with Bayesian Deep
Networks [25.821401066200504]
ベイズディープラーニングでは、分類ニューラルネットワークの出力上の分布は、まずウェイト上のガウス分布を構築し、そこからサンプリングしてソフトマックス出力上の分布を受信することで近似される。
我々は、このソフトマックス出力分布のディリクレ近似を構築し、ロジット空間におけるガウス分布と出力空間におけるディリクレ分布の間の解析写像を生成する。
得られたディリクレ分布は、特に不確実性の推定と、ImageNetやDenseNetのような大規模なデータセットやネットワークへのスケーリングにおいて、複数の利点があることを実証する。
論文 参考訳(メタデータ) (2020-03-02T22:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。