論文の概要: Bayesian Deep Learning via Subnetwork Inference

• arxiv url: http://arxiv.org/abs/2010.14689v4
• Date: Mon, 14 Mar 2022 13:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 04:44:52.666547
• Title: Bayesian Deep Learning via Subnetwork Inference
• Title（参考訳）: サブネットワーク推論によるベイズ深層学習
• Authors: Erik Daxberger, Eric Nalisnick, James Urquhart Allingham, Javier Antor\'an, Jos\'e Miguel Hern\'andez-Lobato
• Abstract要約: モデル重みの小さな部分集合に対して推論を行い、正確な予測後部を得るのに十分であることを示す。 このサブネットワーク推論フレームワークは、そのような部分集合に対して表現的で、そうでなければ、引き起こせない後続近似を使用できる。
• 参考スコア（独自算出の注目度）: 2.2835610890984164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Bayesian paradigm has the potential to solve core issues of deep neural networks such as poor calibration and data inefficiency. Alas, scaling Bayesian inference to large weight spaces often requires restrictive approximations. In this work, we show that it suffices to perform inference over a small subset of model weights in order to obtain accurate predictive posteriors. The other weights are kept as point estimates. This subnetwork inference framework enables us to use expressive, otherwise intractable, posterior approximations over such subsets. In particular, we implement subnetwork linearized Laplace as a simple, scalable Bayesian deep learning method: We first obtain a MAP estimate of all weights and then infer a full-covariance Gaussian posterior over a subnetwork using the linearized Laplace approximation. We propose a subnetwork selection strategy that aims to maximally preserve the model's predictive uncertainty. Empirically, our approach compares favorably to ensembles and less expressive posterior approximations over full networks. Our proposed subnetwork (linearized) Laplace method is implemented within the laplace PyTorch library at https://github.com/AlexImmer/Laplace.
• Abstract（参考訳）: ベイズパラダイムは、キャリブレーション不足やデータ非効率といったディープニューラルネットワークのコア問題を解決する可能性がある。 残念ながら、大重量空間へのベイズ推論のスケーリングには、しばしば制限的な近似が必要である。 本研究では,モデル重みの小さなサブセット上で推論を行うことで,正確な予測結果を得ることができることを示す。 他の重みは点推定として保持される。 このサブネットワーク推論フレームワークは、そのような部分集合上で表現力があり、さもなくば難解な後方近似を使うことができる。 特に,単純でスケーラブルなベイズ深層学習法としてサブネットワーク線形化ラプラスを実装した:まず,全重みのマップ推定を取得し,線形化ラプラス近似を用いてサブネットワーク上の全共分散ガウス後方を推定する。 本稿では,モデルの予測不確実性を最大限に保存することを目的としたサブネットワーク選択戦略を提案する。 実験的に,本手法は全ネットワーク上でのアンサンブルや表現力の低い後部近似と良好に比較できる。 提案するサブネットワーク(線形化) Laplace メソッドは https://github.com/AlexImmer/Laplace の Laplace PyTorch ライブラリ内に実装されている。

関連論文リスト

• Posterior and variational inference for deep neural networks with heavy-tailed weights [0.0]
  我々は、ネットワーク重みをランダムにサンプリングする事前分布を持つベイズフレームワークにおいて、ディープニューラルネットワークを考察する。 後部分布は, ほぼ最適のミニマックス収縮速度を達成できることを示す。 また, 実験結果の変分ベイズ版も提供し, 平均場変分近似は, ほぼ最適理論的支援の恩恵を受けていることを示した。
  論文  参考訳（メタデータ） (2024-06-05T15:24:20Z)
• Hessian-Free Laplace in Bayesian Deep Learning [44.16006844888796]
  Hessian-free Laplace (HFL)近似は、その分散を推定するために、ログ後部とネットワーク予測の両方の曲率を使用する。 ベイズ深層学習におけるLAの標準的な仮定の下では、HFLはLAと同じ分散を目標とし、事前学習されたネットワークで効率よく再生可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-15T20:47:39Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Content Popularity Prediction Based on Quantized Federated Bayesian Learning in Fog Radio Access Networks [76.16527095195893]
  キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。 そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。 我々はベイズ学習を利用してモデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2022-06-23T03:05:12Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• The Bayesian Method of Tensor Networks [1.7894377200944511]
  ネットワークのベイズ的枠組みを2つの観点から検討する。 本研究では,2次元合成データセットにおけるモデルパラメータと決定境界を可視化することにより,ネットワークのベイズ特性について検討する。
  論文  参考訳（メタデータ） (2021-01-01T14:59:15Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)
• Fast Predictive Uncertainty for Classification with Bayesian Deep Networks [25.821401066200504]
  ベイズディープラーニングでは、分類ニューラルネットワークの出力上の分布は、まずウェイト上のガウス分布を構築し、そこからサンプリングしてソフトマックス出力上の分布を受信することで近似される。 我々は、このソフトマックス出力分布のディリクレ近似を構築し、ロジット空間におけるガウス分布と出力空間におけるディリクレ分布の間の解析写像を生成する。 得られたディリクレ分布は、特に不確実性の推定と、ImageNetやDenseNetのような大規模なデータセットやネットワークへのスケーリングにおいて、複数の利点があることを実証する。
  論文  参考訳（メタデータ） (2020-03-02T22:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。