論文の概要: Online Laplace Model Selection Revisited

• arxiv url: http://arxiv.org/abs/2307.06093v2
• Date: Tue, 9 Jan 2024 15:49:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 20:07:28.790927
• Title: Online Laplace Model Selection Revisited
• Title（参考訳）: オンラインラプラスモデル選択の再検討
• Authors: Jihao Andreas Lin, Javier Antor\'an, Jos\'e Miguel Hern\'andez-Lobato
• Abstract要約: ラプラス近似のオンライン版では、ベイジアンディープラーニングコミュニティに新たな関心が寄せられている。 この研究はオンラインのLaplaceメソッドを再定義し、Laplaceのエビデンスを修正したモード上の変分境界をターゲットとしている。 これらの最適化は、UCI回帰データセットのフルバッチ勾配勾配を用いたオンラインアルゴリズムにより、大まかに達成されていることを実証する。
• 参考スコア（独自算出の注目度）: 0.6355355626203273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Laplace approximation provides a closed-form model selection objective for neural networks (NN). Online variants, which optimise NN parameters jointly with hyperparameters, like weight decay strength, have seen renewed interest in the Bayesian deep learning community. However, these methods violate Laplace's method's critical assumption that the approximation is performed around a mode of the loss, calling into question their soundness. This work re-derives online Laplace methods, showing them to target a variational bound on a mode-corrected variant of the Laplace evidence which does not make stationarity assumptions. Online Laplace and its mode-corrected counterpart share stationary points where 1. the NN parameters are a maximum a posteriori, satisfying the Laplace method's assumption, and 2. the hyperparameters maximise the Laplace evidence, motivating online methods. We demonstrate that these optima are roughly attained in practise by online algorithms using full-batch gradient descent on UCI regression datasets. The optimised hyperparameters prevent overfitting and outperform validation-based early stopping.
• Abstract（参考訳）: Laplace近似はニューラルネットワーク(NN)のためのクローズドフォームモデル選択の目的を提供する。 NNパラメータをウェイト崩壊強度などのハイパーパラメータと組み合わせて最適化するオンライン版では、ベイジアンディープラーニングコミュニティに新たな関心が寄せられている。 しかし、これらの手法は、損失のモードで近似が実行されるというラプラスの致命的な仮定に反し、それらの音響性に疑問を投げかける。 この研究はオンラインのLaplaceメソッドを再定義し、静的な仮定をしないモード修正されたLaplace証拠の変分境界を目標とすることを示した。 オンラインラプラスとそのモード修正版は静止点を共有している 1. NNパラメータは、Laplaceメソッドの仮定を満たす最大アプリートであり、そして、 2. ハイパーパラメータはラプラスのエビデンスを最大化し、オンラインメソッドを動機付ける。 これらの最適化は、UCI回帰データセットのフルバッチ勾配勾配を用いたオンラインアルゴリズムにより、大まかに達成されていることを実証する。 最適化されたハイパーパラメータは、過剰フィッティングと検証ベースの早期停止を防止します。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Adaptive importance sampling for Deep Ritz [7.123920027048777]
  偏微分方程式(PDE)の解法を目的としたディープリッツ法の適応サンプリング法を提案する。 1つのネットワークはPDEの解を近似するために使用され、もう1つはトレーニングセットを洗練させるために新しいコロケーションポイントを生成するために使用される深層生成モデルである。 従来のDeep Ritz法と比較して、特に低正規性と高次元性で特徴づけられる問題に対して、提案手法は精度を向上する。
  論文  参考訳（メタデータ） (2023-10-26T06:35:08Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Low-rank variational Bayes correction to the Laplace method [0.0]
  低ランク変分ベイズ補正(VBC)と呼ばれるハイブリッド近似法を提案する。 コストは基本的に、モデルの複雑さとデータサイズの両方において、メソッドのスケーラビリティを保証するLaplaceメソッドのものです。
  論文  参考訳（メタデータ） (2021-11-25T07:01:06Z)
• Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
  勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。 知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
  論文  参考訳（メタデータ） (2021-10-06T05:14:53Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。