論文の概要: Adaptive Annealed Importance Sampling with Constant Rate Progress

• arxiv url: http://arxiv.org/abs/2306.15283v1
• Date: Tue, 27 Jun 2023 08:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 14:09:02.555178
• Title: Adaptive Annealed Importance Sampling with Constant Rate Progress
• Title（参考訳）: 一定の速度の進行を伴う適応的アニール値サンプリング
• Authors: Shirin Goshtasbpour, Victor Cohen, Fernando Perez-Cruz
• Abstract要約: Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
• 参考スコア（独自算出の注目度）: 68.8204255655161
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Annealed Importance Sampling (AIS) synthesizes weighted samples from an intractable distribution given its unnormalized density function. This algorithm relies on a sequence of interpolating distributions bridging the target to an initial tractable distribution such as the well-known geometric mean path of unnormalized distributions which is assumed to be suboptimal in general. In this paper, we prove that the geometric annealing corresponds to the distribution path that minimizes the KL divergence between the current particle distribution and the desired target when the feasible change in the particle distribution is constrained. Following this observation, we derive the constant rate discretization schedule for this annealing sequence, which adjusts the schedule to the difficulty of moving samples between the initial and the target distributions. We further extend our results to $f$-divergences and present the respective dynamics of annealing sequences based on which we propose the Constant Rate AIS (CR-AIS) algorithm and its efficient implementation for $\alpha$-divergences. We empirically show that CR-AIS performs well on multiple benchmark distributions while avoiding the computationally expensive tuning loop in existing Adaptive AIS.
• Abstract（参考訳）: Annealed Importance Smpling (AIS)は、非正規化密度関数が与えられた場合の難解分布から重み付きサンプルを合成する。 このアルゴリズムは、一般に準最適と仮定される非正規化分布のよく知られた幾何学的平均経路のような、対象を初期抽出可能な分布にブリッジする補間分布の列に依存する。 本稿では,粒子分布の可逆的変化が制約された場合,現在の粒子分布と所望のターゲットとのklの発散を最小化する分布経路に幾何学的アニーリングが対応することを実証する。 この観測結果から,初期分布と目標分布との間のサンプル移動の困難さに応じてスケジュールを調整するアニーリングシーケンスの定率不定化スケジュールを導出する。 さらに、この結果をさらに$f$-divergencesまで拡張し、定数レートais(cr-ais)アルゴリズムと$\alpha$-divergencesの効率的な実装に基づくアニールシーケンスのそれぞれのダイナミクスを示す。 CR-AISは、既存のAdaptive AISの計算コストの高いチューニングループを回避しつつ、複数のベンチマーク分布でよく動作することを示す。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Mixing of the No-U-Turn Sampler and the Geometry of Gaussian Concentration [0.0]
  No-U-Turn Smpler (NUTS) の混合時間は$d1/4$で、対数因子までは$d$である。 具体的には、測定値の濃度は、高い確率で保たれるNUTSの局所適応遷移において顕著な均一性をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T15:17:01Z)
• Soft-constrained Schrodinger Bridge: a Stochastic Control Approach [4.922305511803267]
  シュル「オーディンガー橋」は、最適に制御された拡散過程を見つけることを目標とする連続時間制御問題と見なすことができる。 本稿では,両分布間のKulback-Leiblerの相違を罰し,端末分布を目標と異なるものにすることで,この問題を一般化することを提案する。 1つの応用は、堅牢な生成拡散モデルの開発である。
  論文  参考訳（メタデータ） (2024-03-04T04:10:24Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
  ポテンシャル関数が支配する分布からサンプリングする問題を考察する。 本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
  論文  参考訳（メタデータ） (2023-08-28T23:51:33Z)
• Score-Based Diffusion meets Annealed Importance Sampling [89.92133671626327]
  Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。 我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
  論文  参考訳（メタデータ） (2022-08-16T12:13:29Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Relative Entropy Gradient Sampler for Unnormalized Distributions [14.060615420986796]
  非正規分布からのサンプリングのための相対エントロピー勾配サンプリング器(REGS) REGSは、参照分布からサンプルへの初期サンプルを非正規化対象分布から反復的に押し出す単純な非線形変換の列を求める粒子法である。
  論文  参考訳（メタデータ） (2021-10-06T14:10:38Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。