論文の概要: Score-Based Diffusion meets Annealed Importance Sampling

• arxiv url: http://arxiv.org/abs/2208.07698v2
• Date: Wed, 17 Aug 2022 11:39:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 10:33:39.908153
• Title: Score-Based Diffusion meets Annealed Importance Sampling
• Title（参考訳）: スコアに基づく拡散はアニール化重要度サンプリングを満たす
• Authors: Arnaud Doucet, Will Grathwohl, Alexander G. D. G. Matthews, Heiko Strathmann
• Abstract要約: Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。 我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
• 参考スコア（独自算出の注目度）: 89.92133671626327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: More than twenty years after its introduction, Annealed Importance Sampling (AIS) remains one of the most effective methods for marginal likelihood estimation. It relies on a sequence of distributions interpolating between a tractable initial distribution and the target distribution of interest which we simulate from approximately using a non-homogeneous Markov chain. To obtain an importance sampling estimate of the marginal likelihood, AIS introduces an extended target distribution to reweight the Markov chain proposal. While much effort has been devoted to improving the proposal distribution used by AIS, by changing the intermediate distributions and corresponding Markov kernels, an underappreciated issue is that AIS uses a convenient but suboptimal extended target distribution. This can hinder its performance. We here leverage recent progress in score-based generative modeling (SGM) to approximate the optimal extended target distribution for AIS proposals corresponding to the discretization of Langevin and Hamiltonian dynamics. We demonstrate these novel, differentiable, AIS procedures on a number of synthetic benchmark distributions and variational auto-encoders.
• Abstract（参考訳）: 導入から20年以上経っても、Annealed Importance Smpling (AIS) は残差推定の最も効果的な方法の1つである。 これは、トラクタブルな初期分布と、非同次マルコフ連鎖を用いて概してシミュレートした関心のターゲット分布の間の補間する分布列に依存する。 限界確率の重要推定値を得るため、AISはマルコフ連鎖の提案を再重み付けするために拡張目標分布を導入する。 中間分布とそれに対応するマルコフカーネルを変更することで、AISが使用する提案分布の改善に多くの努力が注がれているが、AISは便利だが最適に拡張されたターゲット分布を使用している。 これによりパフォーマンスが損なわれる。 本稿では,最近のスコアベース生成モデル(sgm)の進歩を利用して,ランジュバンとハミルトニアンダイナミクスの離散化に対応するais提案の最適拡張目標分布を近似する。 本稿では,多くのベンチマーク分布と変分自動エンコーダに関する新しいAIS手順を実証する。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Differentiable Annealed Importance Sampling Minimizes The Symmetrized Kullback-Leibler Divergence Between Initial and Target Distribution [10.067421338825545]
  DAIS は初期分布と目標分布の対称性を持つ Kullback-Leibler の分散を最小化することを示す。 DAISは、その初期分布が難解なターゲット分布に適合するパラメトリックであるため、変分推論(VI)の形式と見なすことができる。
  論文  参考訳（メタデータ） (2024-05-23T17:55:09Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Resampling Gradients Vanish in Differentiable Sequential Monte Carlo Samplers [8.122270502556374]
  Annealed Importance Smpling (AIS) は、Markov鎖に沿って粒子を抽出可能な初期分布から抽出可能なターゲット分布に移動させる。 最近提案された微分可能なAIS(DAIS)は、AISの遷移カーネルと分布の効率的な最適化を可能にする。 我々は,Sequential Monte Carloにインスパイアされた再サンプリングステップによりDAISを拡張することを提案する。
  論文  参考訳（メタデータ） (2023-04-27T17:54:57Z)
• Aligning Language Models with Preferences through f-divergence Minimization [4.952674870169772]
  f-DPGは、評価可能な任意のターゲット分布を近似するために、任意のf分割を使用することができる。 本稿では,Jensen-Shannon発散がこれらの目的のバランスを良好に保ち,KL発散を広いマージンで上回っていることを示す。
  論文  参考訳（メタデータ） (2023-02-16T10:59:39Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
  トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。 本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。 本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
  論文  参考訳（メタデータ） (2021-07-29T17:42:12Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。