論文の概要: Improving the Linearized Laplace Approximation via Quadratic Approximations

• arxiv url: http://arxiv.org/abs/2602.03394v1
• Date: Tue, 03 Feb 2026 11:15:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.411093
• Title: Improving the Linearized Laplace Approximation via Quadratic Approximations
• Title（参考訳）: 二次近似による線形化ラプラス近似の改善
• Authors: Pedro Jiménez, Luis A. Ortega, Pablo Morales-Álvarez, Daniel Hernández-Lobato,
• Abstract要約: 線形化ラプラス近似(LLA)はディープニューラルネットワーク(DNN)を線形化する。 後部におけるこの線型化は、真のラプラス近似に忠実さを低下させる可能性がある。 この問題を軽減するために、我々は4次ラプラス近似(QLA)を提案する。 QLAは、効率の良い電力繰り返しによって得られるランクワン係数を用いて、近似ラプラス対数姿勢における各第2次因子を近似する。
• 参考スコア（独自算出の注目度）: 10.331284080454678
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks (DNNs) often produce overconfident out-of-distribution predictions, motivating Bayesian uncertainty quantification. The Linearized Laplace Approximation (LLA) achieves this by linearizing the DNN and applying Laplace inference to the resulting model. Importantly, the linear model is also used for prediction. We argue this linearization in the posterior may degrade fidelity to the true Laplace approximation. To alleviate this problem, without increasing significantly the computational cost, we propose the Quadratic Laplace Approximation (QLA). QLA approximates each second order factor in the approximate Laplace log-posterior using a rank-one factor obtained via efficient power iterations. QLA is expected to yield a posterior precision closer to that of the full Laplace without forming the full Hessian, which is typically intractable. For prediction, QLA also uses the linearized model. Empirically, QLA yields modest yet consistent uncertainty estimation improvements over LLA on five regression datasets.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)はしばしば、ベイズの不確実性定量化を動機とする過信な分布予測を生成する。 線形化ラプラス近似(LLA)は、DNNを線形化し、ラプラス推論を結果モデルに適用することでこれを達成している。 重要なことに、線形モデルは予測にも使われる。 後部におけるこの線型化は、真のラプラス近似に忠実さを低下させる可能性がある。 この問題を緩和するために、計算コストを大幅に増大させることなく、Quadratic Laplace Approximation (QLA)を提案する。 QLAは、効率の良い電力反復によって得られるランクワン係数を用いて、近似ラプラス対数姿勢における各第2次因子を近似する。 QLAは完全なヘッセンを形成することなく、完全なラプラスに近い精度で後部精度が得られることが期待されている。 予測には線形化モデルも使用される。 実証的に、QLAは5つの回帰データセット上で、LAよりもわずかながら一貫性のある不確実性推定の改善をもたらす。

関連論文リスト

• Variation Due to Regularization Tractably Recovers Bayesian Deep Learning [44.16006844888796]
  本稿では,正規化による変動に基づく大規模ネットワークの不確実性定量化手法を提案する。 正規化変動(RegVar)は、無限小極限においてベイズ深層学習におけるラプラス近似を正確に回復する厳密な不確実性を推定する。 複数のデータセットにまたがる実験により、RegVarは不確実な予測を効果的に識別するだけでなく、学習した表現の安定性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-15T20:47:39Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Laplacian Autoencoders for Learning Stochastic Representations [0.6999740786886537]
  本稿では,非教師付き表現学習のためのベイズオートエンコーダを提案する。 我々のラプラシアオートエンコーダは、潜在空間と出力空間の両方において、よく校正された不確かさを推定する。
  論文  参考訳（メタデータ） (2022-06-30T07:23:16Z)
• Bayesian Deep Learning via Subnetwork Inference [2.2835610890984164]
  モデル重みの小さな部分集合に対して推論を行い、正確な予測後部を得るのに十分であることを示す。 このサブネットワーク推論フレームワークは、そのような部分集合に対して表現的で、そうでなければ、引き起こせない後続近似を使用できる。
  論文  参考訳（メタデータ） (2020-10-28T01:10:11Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。