論文の概要: Online Laplace Model Selection Revisited
- arxiv url: http://arxiv.org/abs/2307.06093v2
- Date: Tue, 9 Jan 2024 15:49:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 20:07:28.790927
- Title: Online Laplace Model Selection Revisited
- Title（参考訳）: オンラインラプラスモデル選択の再検討
- Authors: Jihao Andreas Lin, Javier Antor\'an, Jos\'e Miguel Hern\'andez-Lobato
- Abstract要約: ラプラス近似のオンライン版では、ベイジアンディープラーニングコミュニティに新たな関心が寄せられている。
この研究はオンラインのLaplaceメソッドを再定義し、Laplaceのエビデンスを修正したモード上の変分境界をターゲットとしている。
これらの最適化は、UCI回帰データセットのフルバッチ勾配勾配を用いたオンラインアルゴリズムにより、大まかに達成されていることを実証する。
- 参考スコア（独自算出の注目度）: 0.6355355626203273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Laplace approximation provides a closed-form model selection objective
for neural networks (NN). Online variants, which optimise NN parameters jointly
with hyperparameters, like weight decay strength, have seen renewed interest in
the Bayesian deep learning community. However, these methods violate Laplace's
method's critical assumption that the approximation is performed around a mode
of the loss, calling into question their soundness. This work re-derives online
Laplace methods, showing them to target a variational bound on a mode-corrected
variant of the Laplace evidence which does not make stationarity assumptions.
Online Laplace and its mode-corrected counterpart share stationary points where
1. the NN parameters are a maximum a posteriori, satisfying the Laplace
method's assumption, and 2. the hyperparameters maximise the Laplace evidence,
motivating online methods. We demonstrate that these optima are roughly
attained in practise by online algorithms using full-batch gradient descent on
UCI regression datasets. The optimised hyperparameters prevent overfitting and
outperform validation-based early stopping.
- Abstract（参考訳）: Laplace近似はニューラルネットワーク(NN)のためのクローズドフォームモデル選択の目的を提供する。
NNパラメータをウェイト崩壊強度などのハイパーパラメータと組み合わせて最適化するオンライン版では、ベイジアンディープラーニングコミュニティに新たな関心が寄せられている。
しかし、これらの手法は、損失のモードで近似が実行されるというラプラスの致命的な仮定に反し、それらの音響性に疑問を投げかける。
この研究はオンラインのLaplaceメソッドを再定義し、静的な仮定をしないモード修正されたLaplace証拠の変分境界を目標とすることを示した。
オンラインラプラスとそのモード修正版は静止点を共有している
1. NNパラメータは、Laplaceメソッドの仮定を満たす最大アプリートであり、そして、
2. ハイパーパラメータはラプラスのエビデンスを最大化し、オンラインメソッドを動機付ける。
これらの最適化は、UCI回帰データセットのフルバッチ勾配勾配を用いたオンラインアルゴリズムにより、大まかに達成されていることを実証する。
最適化されたハイパーパラメータは、過剰フィッティングと検証ベースの早期停止を防止します。
関連論文リスト
- Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。
この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
論文 参考訳（メタデータ） (2025-02-11T13:10:34Z) - PACMANN: Point Adaptive Collocation Method for Artificial Neural Networks [44.99833362998488]
PINNは、一組のコロケーションポイントに対して決定されたPDE残差を含む損失関数を最小化する。
これまでの研究では、これらのコロケーションポイントの数と分布がPINNソリューションの精度に大きな影響を与えることが示されている。
ニューラルネットワーク(PACMANN)のための点適応コロケーション法を提案する。
論文 参考訳（メタデータ） (2024-11-29T11:31:11Z) - Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。
本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。
2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
論文 参考訳（メタデータ） (2024-09-24T04:39:47Z) - G-Adaptivity: optimised graph-based mesh relocation for finite element methods [20.169049222190853]
メッシュ再配置(r適応性)は、メッシュ幾何学を最適化し、与えられた計算予算で最適解の精度を得る。
最近の機械学習のアプローチは、そのような古典的な手法のための高速なサロゲートの構築に焦点を当てている。
有限要素法(FEM)における最適メッシュ転位を実現するための,新しい,効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-07-05T13:57:35Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳（メタデータ） (2022-03-18T05:49:13Z) - Low-rank variational Bayes correction to the Laplace method [0.0]
低ランク変分ベイズ補正(VBC)と呼ばれるハイブリッド近似法を提案する。
コストは基本的に、モデルの複雑さとデータサイズの両方において、メソッドのスケーラビリティを保証するLaplaceメソッドのものです。
論文 参考訳（メタデータ） (2021-11-25T07:01:06Z) - Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。
知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
論文 参考訳（メタデータ） (2021-10-06T05:14:53Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。