論文の概要: Addressing the Inconsistency in Bayesian Deep Learning via Generalized Laplace Approximation

• arxiv url: http://arxiv.org/abs/2405.13535v4
• Date: Mon, 30 Jun 2025 12:20:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.331363
• Title: Addressing the Inconsistency in Bayesian Deep Learning via Generalized Laplace Approximation
• Title（参考訳）: 一般化ラプラス近似によるベイズ深層学習の不整合への対処
• Authors: Yinsong Chen, Samson S. Yu, Zhong Li, Chee Peng Lim,
• Abstract要約: 一般化されたラプラス近似を導入し、正規化損失のヘシアン計算に簡単な修正しか必要としない。 提案手法を最先端のニューラルネットワークと実世界のデータセットで評価し,一般化されたラプラス近似が予測性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 23.185126261153236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, inconsistency in Bayesian deep learning has attracted significant attention. Tempered or generalized posterior distributions are frequently employed as direct and effective solutions. Nonetheless, the underlying mechanisms and the effectiveness of generalized posteriors remain active research topics. In this work, we interpret posterior tempering as a correction for model misspecification via adjustments to the joint probability, and as a recalibration of priors by reducing aleatoric uncertainty. We also identify a unique property of the Laplace approximation: the generalized normalizing constant remains invariant, in contrast to general Bayesian learning, where this constant typically depends on model parameters after generalization. Leveraging this property, we introduce the generalized Laplace approximation, which requires only a simple modification to the Hessian calculation of the regularized loss. This approach provides a flexible and scalable framework for high-quality posterior inference. We evaluate the proposed method on state-of-the-art neural networks and real-world datasets, demonstrating that the generalized Laplace approximation enhances predictive performance.
• Abstract（参考訳）: 近年,ベイズ深層学習の不整合が注目されている。 テンペリングされたあるいは一般化された後続分布は、直接的で効果的な解としてしばしば用いられる。 それでも、その基盤となるメカニズムと、一般化された後肢の有効性は、現在も活発に研究されている。 本研究は, 後部テンパリングを, 関節確率の調整によるモデル不特定性の補正, および, アレタリック不確かさの低減による事前の校正と解釈する。 一般化正規化定数は一般ベイズ学習とは対照的に不変であり、この定数は通常一般化後のモデルパラメータに依存する。 この性質を生かして一般化されたラプラス近似を導入し、正規化損失のヘッセン計算に簡単な修正しか必要としない。 このアプローチは、高品質な後部推論のためのフレキシブルでスケーラブルなフレームワークを提供する。 提案手法を最先端のニューラルネットワークと実世界のデータセットで評価し,一般化されたラプラス近似が予測性能を向上させることを示す。

関連論文リスト

• Predictive variational inference: Learn the predictively optimal posterior distribution [1.7648680700685022]
  バニラ変量推論はベイズ後部分布に最適な近似を求めるが、正確なベイズ後部分布でさえモデル的不特定の下では意味がないことが多い。 本稿では,最適後続密度から標本を探索する一般推論フレームワークである予測変分推論(PVI)を提案する。 この枠組みは、可能性エクササイズモデルと可能性フリーモデルの両方に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T19:44:57Z)
• Simulation-based Inference with the Generalized Kullback-Leibler Divergence [8.868822699365618]
  目的は、確率が暗黙的にのみ知られている場合の逆問題を解決することである。 本研究では,正規化された基底分布と学習比率を学習することで,両世界の長所を提供するハイブリッドモデルについて検討する。
  論文  参考訳（メタデータ） (2023-10-03T05:42:53Z)
• Bayesian Renormalization [68.8204255655161]
  ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。 ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。 本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
  論文  参考訳（メタデータ） (2023-05-17T18:00:28Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Generalised Bayesian Inference for Discrete Intractable Likelihood [9.331721990371769]
  本稿では、離散的難易度に適した新しい一般化されたベイズ推論手法を開発する。 連続データに対する最近の方法論的な進歩にインスパイアされた主なアイデアは、離散的なフィッシャー分岐を用いてモデルパラメータに関する信念を更新することである。 結果は一般化された後部であり、マルコフ・モンテカルロのような標準的な計算ツールからサンプリングすることができる。
  論文  参考訳（メタデータ） (2022-06-16T19:36:17Z)
• Amortized backward variational inference in nonlinear state-space models [0.0]
  変分推論を用いた一般状態空間モデルにおける状態推定の問題点を考察する。 仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増加する誤差を誘導することを初めて確立した。
  論文  参考訳（メタデータ） (2022-06-01T08:35:54Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。