論文の概要: An Equivalence between Bayesian Priors and Penalties in Variational Inference

• arxiv url: http://arxiv.org/abs/2002.00178v3
• Date: Wed, 7 Feb 2024 13:17:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 21:09:42.602529
• Title: An Equivalence between Bayesian Priors and Penalties in Variational Inference
• Title（参考訳）: 変分推論におけるベイズ優先とペナルティの等価性
• Authors: Pierre Wolinski, Guillaume Charpiat, Yann Ollivier
• Abstract要約: 機械学習では、パラメータのいくつかの値をペナライズするアドホック正規化項によって変調される確率モデルのパラメータを最適化することが一般的である。 我々は、この手順に従って発生する正則化器を完全に特徴付け、与えられたペナルティに対応する事前を計算する体系的な方法を提供する。
• 参考スコア（独自算出の注目度）: 8.45602005745865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In machine learning, it is common to optimize the parameters of a probabilistic model, modulated by an ad hoc regularization term that penalizes some values of the parameters. Regularization terms appear naturally in Variational Inference, a tractable way to approximate Bayesian posteriors: the loss to optimize contains a Kullback--Leibler divergence term between the approximate posterior and a Bayesian prior. We fully characterize the regularizers that can arise according to this procedure, and provide a systematic way to compute the prior corresponding to a given penalty. Such a characterization can be used to discover constraints over the penalty function, so that the overall procedure remains Bayesian.
• Abstract（参考訳）: 機械学習では、パラメータのいくつかの値をペナライズするアドホック正規化項によって変調される確率モデルのパラメータを最適化することが一般的である。 正規化項は、変分推論(英語版)において自然に現れる: 最適化の損失は、近似後段とベイズ前段の間のクルバック・リーバー分岐項を含む。 我々は、この手順に従って発生する正則化器を完全に特徴付け、与えられたペナルティに対応する事前を計算する体系的な方法を提供する。 このようなキャラクタリゼーションはペナルティ関数上の制約を見つけるために使用され、全体の手続きはベイズ関数のままである。

関連論文リスト

• Reparameterization invariance in approximate Bayesian inference [32.88960624085645]
  線形化の成功を説明するために, 線形化の新たな幾何学的視点を構築した。 これらのreパラメータ化不変性は、元のニューラルネットワーク予測に拡張可能であることを実証する。
  論文  参考訳（メタデータ） (2024-06-05T14:49:15Z)
• Generalized Laplace Approximation [23.185126261153236]
  我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。 正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。 我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
  論文  参考訳（メタデータ） (2024-05-22T11:11:42Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Variational Prediction [95.00085314353436]
  本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。 このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
  論文  参考訳（メタデータ） (2023-07-14T18:19:31Z)
• Bayesian Renormalization [68.8204255655161]
  ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。 ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。 本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
  論文  参考訳（メタデータ） (2023-05-17T18:00:28Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Moment-Based Variational Inference for Stochastic Differential Equations [31.494103873662343]
  我々は,前処理の制御バージョンとして変分過程を構築する。 我々は、モーメント関数のセットによって後部を近似する。 モーメント閉包と組み合わせて、平滑化問題は決定論的最適制御問題に還元される。
  論文  参考訳（メタデータ） (2021-03-01T13:20:38Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• The Reciprocal Bayesian LASSO [0.0]
  我々は、線形回帰パラメータの rLASSO 推定をベイズ的後続モード推定として解釈できるという観測に基づいて、rLASSO 問題の完全なベイズ的定式化を考える。 シミュレーションおよび実データについて、ベイズ式は、推定、予測、変数選択において、その古典的な従兄弟よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-23T01:21:59Z)
• Variational Bayesian Methods for Stochastically Constrained System Design Problems [7.347989843033034]
  本稿では,パラメータ化プログラムとして表現されるシステム設計問題について,確率制約セットを用いて検討する。 後続予測積分を近似的に計算するための変分ベイズ法を提案する。
  論文  参考訳（メタデータ） (2020-01-06T05:21:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。