論文の概要: Online Laplace Model Selection Revisited
- arxiv url: http://arxiv.org/abs/2307.06093v2
- Date: Tue, 9 Jan 2024 15:49:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 20:07:28.790927
- Title: Online Laplace Model Selection Revisited
- Title(参考訳): オンラインラプラスモデル選択の再検討
- Authors: Jihao Andreas Lin, Javier Antor\'an, Jos\'e Miguel Hern\'andez-Lobato
- Abstract要約: ラプラス近似のオンライン版では、ベイジアンディープラーニングコミュニティに新たな関心が寄せられている。
この研究はオンラインのLaplaceメソッドを再定義し、Laplaceのエビデンスを修正したモード上の変分境界をターゲットとしている。
これらの最適化は、UCI回帰データセットのフルバッチ勾配勾配を用いたオンラインアルゴリズムにより、大まかに達成されていることを実証する。
- 参考スコア(独自算出の注目度): 0.6355355626203273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Laplace approximation provides a closed-form model selection objective
for neural networks (NN). Online variants, which optimise NN parameters jointly
with hyperparameters, like weight decay strength, have seen renewed interest in
the Bayesian deep learning community. However, these methods violate Laplace's
method's critical assumption that the approximation is performed around a mode
of the loss, calling into question their soundness. This work re-derives online
Laplace methods, showing them to target a variational bound on a mode-corrected
variant of the Laplace evidence which does not make stationarity assumptions.
Online Laplace and its mode-corrected counterpart share stationary points where
1. the NN parameters are a maximum a posteriori, satisfying the Laplace
method's assumption, and 2. the hyperparameters maximise the Laplace evidence,
motivating online methods. We demonstrate that these optima are roughly
attained in practise by online algorithms using full-batch gradient descent on
UCI regression datasets. The optimised hyperparameters prevent overfitting and
outperform validation-based early stopping.
- Abstract(参考訳): Laplace近似はニューラルネットワーク(NN)のためのクローズドフォームモデル選択の目的を提供する。
NNパラメータをウェイト崩壊強度などのハイパーパラメータと組み合わせて最適化するオンライン版では、ベイジアンディープラーニングコミュニティに新たな関心が寄せられている。
しかし、これらの手法は、損失のモードで近似が実行されるというラプラスの致命的な仮定に反し、それらの音響性に疑問を投げかける。
この研究はオンラインのLaplaceメソッドを再定義し、静的な仮定をしないモード修正されたLaplace証拠の変分境界を目標とすることを示した。
オンラインラプラスとそのモード修正版は静止点を共有している
1. NNパラメータは、Laplaceメソッドの仮定を満たす最大アプリートであり、そして、
2. ハイパーパラメータはラプラスのエビデンスを最大化し、オンラインメソッドを動機付ける。
これらの最適化は、UCI回帰データセットのフルバッチ勾配勾配を用いたオンラインアルゴリズムにより、大まかに達成されていることを実証する。
最適化されたハイパーパラメータは、過剰フィッティングと検証ベースの早期停止を防止します。
関連論文リスト
- Adaptive importance sampling for Deep Ritz [7.123920027048777]
偏微分方程式(PDE)の解法を目的としたディープリッツ法の適応サンプリング法を提案する。
1つのネットワークはPDEの解を近似するために使用され、もう1つはトレーニングセットを洗練させるために新しいコロケーションポイントを生成するために使用される深層生成モデルである。
従来のDeep Ritz法と比較して、特に低正規性と高次元性で特徴づけられる問題に対して、提案手法は精度を向上する。
論文 参考訳(メタデータ) (2023-10-26T06:35:08Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳(メタデータ) (2023-06-06T19:02:57Z) - Constrained Optimization via Exact Augmented Lagrangian and Randomized
Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。
ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-28T06:33:37Z) - Variational Linearized Laplace Approximation for Bayesian Deep Learning [1.77513002450736]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。
本手法はGPの2つのRKHSに基づいており,元のDNNの出力予測平均として維持される。
提案手法は,Nystr"om近似に基づく加速LLA(ELLA)と,サンプル列最適化原理を用いた他のLA変種を比較した。
論文 参考訳(メタデータ) (2023-02-24T10:32:30Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive
Step Size [29.15132344744801]
本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。
これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
論文 参考訳(メタデータ) (2021-12-30T00:50:30Z) - Low-rank variational Bayes correction to the Laplace method [0.0]
低ランク変分ベイズ補正(VBC)と呼ばれるハイブリッド近似法を提案する。
コストは基本的に、モデルの複雑さとデータサイズの両方において、メソッドのスケーラビリティを保証するLaplaceメソッドのものです。
論文 参考訳(メタデータ) (2021-11-25T07:01:06Z) - Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。
知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
論文 参考訳(メタデータ) (2021-10-06T05:14:53Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳(メタデータ) (2020-06-29T20:57:20Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳(メタデータ) (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。