論文の概要: Reparameterization invariance in approximate Bayesian inference

• arxiv url: http://arxiv.org/abs/2406.03334v1
• Date: Wed, 5 Jun 2024 14:49:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 17:51:23.783818
• Title: Reparameterization invariance in approximate Bayesian inference
• Title（参考訳）: 近似ベイズ推論における再パラメータ化不変性
• Authors: Hrittik Roy, Marco Miani, Carl Henrik Ek, Philipp Hennig, Marvin Pförtner, Lukas Tatzel, Søren Hauberg,
• Abstract要約: 線形化の成功を説明するために, 線形化の新たな幾何学的視点を構築した。 これらのreパラメータ化不変性は、元のニューラルネットワーク予測に拡張可能であることを実証する。
• 参考スコア（独自算出の注目度）: 32.88960624085645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current approximate posteriors in Bayesian neural networks (BNNs) exhibit a crucial limitation: they fail to maintain invariance under reparameterization, i.e. BNNs assign different posterior densities to different parametrizations of identical functions. This creates a fundamental flaw in the application of Bayesian principles as it breaks the correspondence between uncertainty over the parameters with uncertainty over the parametrized function. In this paper, we investigate this issue in the context of the increasingly popular linearized Laplace approximation. Specifically, it has been observed that linearized predictives alleviate the common underfitting problems of the Laplace approximation. We develop a new geometric view of reparametrizations from which we explain the success of linearization. Moreover, we demonstrate that these reparameterization invariance properties can be extended to the original neural network predictive using a Riemannian diffusion process giving a straightforward algorithm for approximate posterior sampling, which empirically improves posterior fit.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)の現在の近似後部は、再パラメータ化の下で不変性を維持することができず、BNNは同一機能の異なるパラメトリゼーションに異なる後部密度を割り当てる。 これはベイズ原理の適用における根本的な欠陥を生み出し、パラメトリケート関数に対する不確実性を持つパラメータに対する不確実性の間の対応を断ち切る。 本稿では,近年普及している線形化ラプラス近似の文脈でこの問題を考察する。 特に、線形化予測はラプラス近似の一般的な不適合問題を軽減することが観察されている。 線形化の成功を説明するために, 線形化の新たな幾何学的視点を構築した。 さらに,これらの再パラメータ化不変性は,線形拡散法を用いて元のニューラルネットワーク予測に拡張可能であることを示す。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
  本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。 これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
  論文  参考訳（メタデータ） (2023-11-08T15:17:13Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Scale-invariant Bayesian Neural Networks with Connectivity Tangent Kernel [30.088226334627375]
  パラメータのスケールに応じて、平坦性と一般化境界を任意に変更できることが示される。 我々は,パラメータのスケールと接続性をテキスト分解することで,スケーリング変換に不変な新しい事前分布と後続分布を提案する。 我々は, 後部が, 複雑さの低い効果的な平坦度とキャリブレーションの指標を実証的に示す。
  論文  参考訳（メタデータ） (2022-09-30T03:31:13Z)
• On the detrimental effect of invariances in the likelihood for variational inference [21.912271882110986]
  変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。 これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
  論文  参考訳（メタデータ） (2022-09-15T09:13:30Z)
• Amortized backward variational inference in nonlinear state-space models [0.0]
  変分推論を用いた一般状態空間モデルにおける状態推定の問題点を考察する。 仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増加する誤差を誘導することを初めて確立した。
  論文  参考訳（メタデータ） (2022-06-01T08:35:54Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Understanding Variational Inference in Function-Space [20.940162027560408]
  この設定で、Kullback-Leiblerの発散を利用する際の利点と制限を強調します。 近似品質を直接測定する関数空間推論手法のベンチマークとしてベイズ線形回帰法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T17:42:01Z)
• The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks [46.677567663908185]
  変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。 最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。 これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
  論文  参考訳（メタデータ） (2020-02-07T07:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。