論文の概要: Markovian Score Climbing: Variational Inference with KL(p||q)

• arxiv url: http://arxiv.org/abs/2003.10374v2
• Date: Mon, 22 Feb 2021 19:46:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 23:50:08.445609
• Title: Markovian Score Climbing: Variational Inference with KL(p||q)
• Title（参考訳）: マルコフスコアクライミング:KL(p||q)による変分推論
• Authors: Christian A. Naesseth and Fredrik Lindsten and David Blei
• Abstract要約: 我々は「排他的クルバック・リーブラ」(KL)KL(p q)を確実に最小化する簡単なアルゴリズムを開発する。 この方法は包含KLの局所最適化に収束する。 Reweighted Wake-Sleep(英語版)やNeural Adaptive Monte Carlo(英語版)のような既存の手法に固有の体系的な誤りに悩まされない。
• 参考スコア（独自算出の注目度）: 16.661889249333676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern variational inference (VI) uses stochastic gradients to avoid intractable expectations, enabling large-scale probabilistic inference in complex models. VI posits a family of approximating distributions q and then finds the member of that family that is closest to the exact posterior p. Traditionally, VI algorithms minimize the "exclusive Kullback-Leibler (KL)" KL(q || p), often for computational convenience. Recent research, however, has also focused on the "inclusive KL" KL(p || q), which has good statistical properties that makes it more appropriate for certain inference problems. This paper develops a simple algorithm for reliably minimizing the inclusive KL using stochastic gradients with vanishing bias. This method, which we call Markovian score climbing (MSC), converges to a local optimum of the inclusive KL. It does not suffer from the systematic errors inherent in existing methods, such as Reweighted Wake-Sleep and Neural Adaptive Sequential Monte Carlo, which lead to bias in their final estimates. We illustrate convergence on a toy model and demonstrate the utility of MSC on Bayesian probit regression for classification as well as a stochastic volatility model for financial data.
• Abstract（参考訳）: 現代の変分推論(VI)は、難解な期待を避けるために確率勾配を使い、複雑なモデルにおける大規模な確率的推論を可能にする。 VI は分布 q を近似する族を仮定し、その族のメンバーが正確な後 p に最も近いものを見つける。 伝統的に、VIアルゴリズムは「排他的クルバック・リーブラ」(KL)KL(q ||)を最小化する。 p) しばしば計算の便宜のためである。 しかし、最近の研究は「包括的KL」KL(p ||)にも焦点を当てている。 q) は優れた統計的性質を持ち、特定の推論問題に対してより適切である。 本稿では,確率勾配を用いた包摂的KLを確実に最小化するための簡単なアルゴリズムを開発した。 この方法はマルコフスコアクライミング(MSC)と呼ばれ、包含KLの局所最適値に収束する。 リウェイトドウェイクスリープやニューラルアダプティブ・シーケンシャル・モンテカルロといった既存の手法に固有の系統的誤りを伴わないため、最終的な推定ではバイアスが発生する。 本稿では,玩具モデル上での収束を例示し,分類のためのベイズ確率回帰と金融データに対する確率的ボラティリティモデルにおけるmscの有用性を示す。

関連論文リスト

• Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
  SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。 シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
  論文  参考訳（メタデータ） (2024-03-15T18:13:48Z)
• SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning [49.94607673097326]
  ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。 我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。 本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-21T03:39:04Z)
• Curvature-Sensitive Predictive Coding with Approximate Laplace Monte Carlo [1.1470070927586016]
  予測符号化(PC: Predictive coding)は、現在、脳における支配的な計算理論の1つとなっている。 それにもかかわらず、彼らは機械学習の幅広い分野への輸出をほとんど楽しんだ。 これは、PCでトレーニングされたモデルの性能が、サンプルの品質と限界確率の両方で評価されているためである。
  論文  参考訳（メタデータ） (2023-03-09T01:29:58Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• ReCAB-VAE: Gumbel-Softmax Variational Inference Based on Analytic Divergence [17.665255113864795]
  緩和されたカテゴリー分布のクルバック・リーブラー発散(KLD)の上界に対応する新しい発散型計量について述べる。 また、連続表現と緩和表現の両方をうまくモデル化できる緩和された分類的有界変分オートエンコーダ(ReCAB-VAE)を提案する。
  論文  参考訳（メタデータ） (2022-05-09T08:11:46Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• A Batch Normalized Inference Network Keeps the KL Vanishing Away [35.40781000297285]
  変分オートエンコーダ(VAE)はモデルの後続変数を近似するために広く用いられている。 VAEはしばしば「後崩壊」と呼ばれる退化した局所最適値に収束する
  論文  参考訳（メタデータ） (2020-04-27T05:20:01Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。