論文の概要: MCMC Variational Inference via Uncorrected Hamiltonian Annealing

• arxiv url: http://arxiv.org/abs/2107.04150v1
• Date: Thu, 8 Jul 2021 23:59:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-12 13:56:55.920921
• Title: MCMC Variational Inference via Uncorrected Hamiltonian Annealing
• Title（参考訳）: 非修正ハミルトニアンアニーリングによるMCMC変分推定
• Authors: Tomas Geffner and Justin Domke
• Abstract要約: 本稿では,非修正ハミルトンMCMCを用いたAISライクな手法のフレームワークを提案する。 我々の手法は、log Z 上の厳密で微分可能な下界につながる。
• 参考スコア（独自算出の注目度）: 42.26118870861363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given an unnormalized target distribution we want to obtain approximate samples from it and a tight lower bound on its (log) normalization constant log Z. Annealed Importance Sampling (AIS) with Hamiltonian MCMC is a powerful method that can be used to do this. Its main drawback is that it uses non-differentiable transition kernels, which makes tuning its many parameters hard. We propose a framework to use an AIS-like procedure with Uncorrected Hamiltonian MCMC, called Uncorrected Hamiltonian Annealing. Our method leads to tight and differentiable lower bounds on log Z. We show empirically that our method yields better performances than other competing approaches, and that the ability to tune its parameters using reparameterization gradients may lead to large performance improvements.
• Abstract（参考訳）: 非正規化対象分布が与えられると、それから近似的なサンプルを得ることができ、その(log)正規化定数log z. annealed importance sampling (ais) 上の厳密な下限を得ることができる。 主な欠点は、非微分可能遷移カーネルを使用することで、多くのパラメータのチューニングが困難になることである。 非補正ハミルトニアンのmcmc(uncorrected hamiltonian mcmc, uncorrected hamiltonian annealing)を用いたaisライクな手順の枠組みを提案する。 我々の手法は、log Z 上の厳密で微分可能な下界につながる。 我々は,本手法が他の競合手法よりも優れた性能が得られること,パラメータをパラメータ化勾配で調整できることが性能改善につながることを実証的に示す。

関連論文リスト

• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Machine Learning and Variational Algorithms for Lattice Field Theory [1.198562319289569]
  格子量子場論の研究において、格子理論を定義するパラメータは連続体物理学にアクセスする臨界性に向けて調整されなければならない。 経路積分の領域に適用される輪郭変形に基づいてモンテカルロ推定器を「変形」する手法を提案する。 我々は,フローベースMCMCが臨界減速を緩和し,オブザーシフォールドが原理的応用のばらつきを指数関数的に低減できることを実証した。
  論文  参考訳（メタデータ） (2021-06-03T16:37:05Z)
• Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients [19.772149500352945]
  下界の最大化によるモデルパラメータの近似的最大度学習は、スパース変分アプローチの利点の多くを保っていることを示す。 実験では、他の共役グラデーションベースのアプローチと比較して、トレーニング時間の同等の量のためのモデルで予測性能の改善を示します。
  論文  参考訳（メタデータ） (2021-02-16T17:54:59Z)
• On Batch Normalisation for Approximate Bayesian Inference [102.94525205971873]
  バッチ正規化は証拠の下限(ELBO)の最適性に影響しないことを示す。 また,モンテカルロバッチ正規化(MCBN)アルゴリズムについても検討し,MCDropoutと平行な近似推論手法を提案する。
  論文  参考訳（メタデータ） (2020-12-24T12:40:11Z)
• Optimal Thinning of MCMC Output [18.177473712344565]
  サンプルパスから固定基数のある状態の部分集合を振り返って選択する問題を考察する。 重圧縮を必要とする問題に適した,カーネルの差分最小化に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T10:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。