論文の概要: Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence

• arxiv url: http://arxiv.org/abs/2106.15980v1
• Date: Wed, 30 Jun 2021 11:00:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 15:13:30.984066
• Title: Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence
• Title（参考訳）: forward kullback-leibler divergence を用いた重要サンプリングの変分補正
• Authors: Ghassen Jerfel, Serena Wang, Clara Fannjiang, Katherine A. Heller, Yian Ma, Michael I. Jordan
• Abstract要約: 変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
• 参考スコア（独自算出の注目度）: 77.06203118175335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational Inference (VI) is a popular alternative to asymptotically exact sampling in Bayesian inference. Its main workhorse is optimization over a reverse Kullback-Leibler divergence (RKL), which typically underestimates the tail of the posterior leading to miscalibration and potential degeneracy. Importance sampling (IS), on the other hand, is often used to fine-tune and de-bias the estimates of approximate Bayesian inference procedures. The quality of IS crucially depends on the choice of the proposal distribution. Ideally, the proposal distribution has heavier tails than the target, which is rarely achievable by minimizing the RKL. We thus propose a novel combination of optimization and sampling techniques for approximate Bayesian inference by constructing an IS proposal distribution through the minimization of a forward KL (FKL) divergence. This approach guarantees asymptotic consistency and a fast convergence towards both the optimal IS estimator and the optimal variational approximation. We empirically demonstrate on real data that our method is competitive with variational boosting and MCMC.
• Abstract（参考訳）: 変分推論(VI)は、ベイズ推論における漸近的正確なサンプリングの代替として人気がある。 主なワークホースは、逆のクルバック・リーブラー分岐(RKL)に対する最適化であり、通常は後部の尾を過小評価して誤校正や潜在的な退化をもたらす。 一方、重要サンプリング(is)は、近似ベイズ推定法の推定を微調整し、バイアスを緩和するためにしばしば用いられる。 ISの質は、提案の配布の選択に大きく依存する。 理想的には、提案分布はターゲットよりも重く、RKLを最小化することで達成されることは滅多にない。 本研究では,前方kl(fkl)分岐の最小化によるis提案分布を構築し,近似ベイズ推定のための新しい最適化とサンプリング手法を提案する。 このアプローチは、最適IS推定器と最適変分近似の両方に対する漸近一貫性と高速収束を保証する。 実データから,本手法は変動促進とMCMCと競合することを示す。

関連論文リスト

• Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls [18.047245099229325]
  2つのワッサーシュタイン球の交叉によって設定されたあいまいさを利用する分布的ロバストなアプローチを提案する。 提案したモデルの強烈な経験的性能を実証する。
  論文  参考訳（メタデータ） (2024-06-04T15:46:41Z)
• Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
  SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。 シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
  論文  参考訳（メタデータ） (2024-03-15T18:13:48Z)
• Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
  対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。 これは擬似コアセット構築プロセスにおける近似の必要性を排除する。 複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T17:13:50Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Adaptive Importance Sampling meets Mirror Descent: a Bias-variance tradeoff [7.538482310185135]
  適応的な重要度サンプリングの大きな欠点は、重みの大きなばらつきである。 本稿では,一定のパワーで重み付けを行うことを基本原理とする正規化戦略について検討する。
  論文  参考訳（メタデータ） (2021-10-29T07:45:24Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Adaptive Sampling for Estimating Distributions: A Bayesian Upper Confidence Bound Approach [30.76846526324949]
  既存の高信頼境界(UCB)ベースのアプローチのベイズ多様体が提案される。 ロサンゼルス郡のセロプレバレンス調査から得られたデータを用いて,この戦略の有効性を考察した。
  論文  参考訳（メタデータ） (2020-12-08T00:53:34Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Distributionally Robust Bayesian Optimization [121.71766171427433]
  そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。 提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。 提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T22:04:30Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。