論文の概要: Laplace Redux -- Effortless Bayesian Deep Learning
- arxiv url: http://arxiv.org/abs/2106.14806v1
- Date: Mon, 28 Jun 2021 15:30:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 13:56:34.110320
- Title: Laplace Redux -- Effortless Bayesian Deep Learning
- Title（参考訳）: laplace redux -- 無力なベイズ深層学習
- Authors: Erik Daxberger and Agustinus Kristiadi and Alexander Immer and Runa
Eschenhagen and Matthias Bauer and Philipp Hennig
- Abstract要約: ラプラス近似は変分ベイズやディープアンサンブルのような代替法ほど人気がないことを示す。
PyTorch用の使いやすいソフトウェアライブラリである"Laplace"を紹介します。
実験を通して、LAは計算コストの点で優れているが、性能の面ではより一般的な代替品と競合することを示した。
- 参考スコア（独自算出の注目度）: 79.70292248127467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian formulations of deep learning have been shown to have compelling
theoretical properties and offer practical functional benefits, such as
improved predictive uncertainty quantification and model selection. The Laplace
approximation (LA) is a classic, and arguably the simplest family of
approximations for the intractable posteriors of deep neural networks. Yet,
despite its simplicity, the LA is not as popular as alternatives like
variational Bayes or deep ensembles. This may be due to assumptions that the LA
is expensive due to the involved Hessian computation, that it is difficult to
implement, or that it yields inferior results. In this work we show that these
are misconceptions: we (i) review the range of variants of the LA including
versions with minimal cost overhead; (ii) introduce "laplace", an easy-to-use
software library for PyTorch offering user-friendly access to all major flavors
of the LA; and (iii) demonstrate through extensive experiments that the LA is
competitive with more popular alternatives in terms of performance, while
excelling in terms of computational cost. We hope that this work will serve as
a catalyst to a wider adoption of the LA in practical deep learning, including
in domains where Bayesian approaches are not typically considered at the
moment.
- Abstract（参考訳）: 深層学習のベイズ的定式化は説得力のある理論的性質を持ち、予測の不確実性定量化の改善やモデル選択のような実用的な機能的利点を提供する。
ラプラス近似 (laplace approximation, la) は、ディープニューラルネットワークの難解な後方に対する最も単純な近似系である。
しかし、単純さにもかかわらず、LAは変奏ベイズやディープアンサンブルのような代替品ほど人気はない。
これは、LAがヘッセン計算に関係しているため高価である、実装が難しい、あるいは劣った結果をもたらすという仮定によるものかもしれない。
i) コストの少ないバージョンを含むlaの変種の範囲をレビューする、(ii) pytorch向けの使いやすいソフトウェアライブラリである"laplace"を導入する、(iii) laがパフォーマンスの面でより人気のある代替品と競争していることを示す広範な実験を通じて、計算コストの面で優れていることを実証する。
この研究が,ベイズ的アプローチが一般的に考慮されていない領域を含む,実践的なディープラーニングにおけるLAの広範な採用の触媒になることを期待している。
関連論文リスト
- Bayesian Low-Rank LeArning (Bella): A Practical Approach to Bayesian Neural Networks [29.50865891400804]
ベイズニューラルネットワーク(BNN)の計算負担を軽減するための革新的な枠組みを導入する。
提案手法は,ディープアンサンブルに基づくベイズ的手法の原理に従っているが,事前学習されたニューラルネットワークから生じるパラメータの低ランク摂動により,コストを大幅に削減する。
バニラ版のアンサンブルと、Stein Variational Gradient Descent (SVGD)を用いたベイズ学習のようなより洗練されたスキームは、提案フレームワーク内でシームレスに実装できる。
論文 参考訳（メタデータ） (2024-07-30T15:07:13Z) - Hessian-Free Laplace in Bayesian Deep Learning [44.16006844888796]
Hessian-free Laplace (HFL)近似は、その分散を推定するために、ログ後部とネットワーク予測の両方の曲率を使用する。
ベイズ深層学習におけるLAの標準的な仮定の下では、HFLはLAと同じ分散を目標とし、事前学習されたネットワークで効率よく再生可能であることを示す。
論文 参考訳（メタデータ） (2024-03-15T20:47:39Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - Accelerated Linearized Laplace Approximation for Bayesian Deep Learning [34.81292720605279]
ニューラルタンジェントカーネル(NTK)に対するNystrom近似を開発し、LLAを加速する。
我々の手法は、フォワードモード自動微分のための人気のあるディープラーニングライブラリの能力から恩恵を受ける。
私たちの方法では、視覚変換器のようなアーキテクチャまでスケールアップできます。
論文 参考訳（メタデータ） (2022-10-23T07:49:03Z) - Learning (Local) Surrogate Loss Functions for Predict-Then-Optimize
Problems [58.954414264760956]
決定焦点学習(Decision-Focused Learning, DFL)は、予測モデルを下流の最適化タスクに調整するためのパラダイムである。
本稿では,(a)最適化問題を解き,一般化可能なブラックボックスオラクルへのアクセスのみを必要とする忠実なタスク固有サロゲートを学習し,(b)勾配で凸し,容易に最適化できる手法を提案する。
論文 参考訳（メタデータ） (2022-03-30T05:46:54Z) - Bayesian Deep Learning via Subnetwork Inference [2.2835610890984164]
モデル重みの小さな部分集合に対して推論を行い、正確な予測後部を得るのに十分であることを示す。
このサブネットワーク推論フレームワークは、そのような部分集合に対して表現的で、そうでなければ、引き起こせない後続近似を使用できる。
論文 参考訳（メタデータ） (2020-10-28T01:10:11Z) - Provably Efficient Reward-Agnostic Navigation with Linear Value
Iteration [143.43658264904863]
我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。
そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
論文 参考訳（メタデータ） (2020-08-18T04:34:21Z) - Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。
本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。
実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
論文 参考訳（メタデータ） (2020-07-20T12:07:48Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。