論文の概要: Adaptive Annealed Importance Sampling with Constant Rate Progress
- arxiv url: http://arxiv.org/abs/2306.15283v1
- Date: Tue, 27 Jun 2023 08:15:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 14:09:02.555178
- Title: Adaptive Annealed Importance Sampling with Constant Rate Progress
- Title(参考訳): 一定の速度の進行を伴う適応的アニール値サンプリング
- Authors: Shirin Goshtasbpour, Victor Cohen, Fernando Perez-Cruz
- Abstract要約: Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
- 参考スコア(独自算出の注目度): 68.8204255655161
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Annealed Importance Sampling (AIS) synthesizes weighted samples from an
intractable distribution given its unnormalized density function. This
algorithm relies on a sequence of interpolating distributions bridging the
target to an initial tractable distribution such as the well-known geometric
mean path of unnormalized distributions which is assumed to be suboptimal in
general. In this paper, we prove that the geometric annealing corresponds to
the distribution path that minimizes the KL divergence between the current
particle distribution and the desired target when the feasible change in the
particle distribution is constrained. Following this observation, we derive the
constant rate discretization schedule for this annealing sequence, which
adjusts the schedule to the difficulty of moving samples between the initial
and the target distributions. We further extend our results to $f$-divergences
and present the respective dynamics of annealing sequences based on which we
propose the Constant Rate AIS (CR-AIS) algorithm and its efficient
implementation for $\alpha$-divergences. We empirically show that CR-AIS
performs well on multiple benchmark distributions while avoiding the
computationally expensive tuning loop in existing Adaptive AIS.
- Abstract(参考訳): Annealed Importance Smpling (AIS)は、非正規化密度関数が与えられた場合の難解分布から重み付きサンプルを合成する。
このアルゴリズムは、一般に準最適と仮定される非正規化分布のよく知られた幾何学的平均経路のような、対象を初期抽出可能な分布にブリッジする補間分布の列に依存する。
本稿では,粒子分布の可逆的変化が制約された場合,現在の粒子分布と所望のターゲットとのklの発散を最小化する分布経路に幾何学的アニーリングが対応することを実証する。
この観測結果から,初期分布と目標分布との間のサンプル移動の困難さに応じてスケジュールを調整するアニーリングシーケンスの定率不定化スケジュールを導出する。
さらに、この結果をさらに$f$-divergencesまで拡張し、定数レートais(cr-ais)アルゴリズムと$\alpha$-divergencesの効率的な実装に基づくアニールシーケンスのそれぞれのダイナミクスを示す。
CR-AISは、既存のAdaptive AISの計算コストの高いチューニングループを回避しつつ、複数のベンチマーク分布でよく動作することを示す。
関連論文リスト
- Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Accelerating Distributed Stochastic Optimization via Self-Repellent
Random Walks [11.3631620309434]
エージェントのネットワークをランダムウォーク方式で横断するトークンによって勾配をサンプリングする分散最適化アルゴリズムの一群について検討する。
我々は、正則線型マルコフトークンを非線形マルコフ連鎖、すなわち自己推進ラドムウォーク(SRRW)に従うものに置き換えることで、新しいアプローチをとる。
結果のSA-SRRWの最適化誤差はほぼ確実にゼロに収束し、中心極限定理を証明する。
論文 参考訳(メタデータ) (2024-01-18T00:50:37Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳(メタデータ) (2023-08-28T23:51:33Z) - Generalizing Gaussian Smoothing for Random Search [23.381986209234164]
ガウススムースティング(英: Gaussian smoothing、GS)は、現在のベンチマークの摂動を用いて対象の勾配を推定する微分自由最適化アルゴリズムである。
そこで本研究では,MSEが比較的小さいような分布の誤差を最小限に抑えた摂動分布を選択することを提案する。
論文 参考訳(メタデータ) (2022-11-27T04:42:05Z) - Score-Based Diffusion meets Annealed Importance Sampling [89.92133671626327]
Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。
我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
論文 参考訳(メタデータ) (2022-08-16T12:13:29Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Relative Entropy Gradient Sampler for Unnormalized Distributions [14.060615420986796]
非正規分布からのサンプリングのための相対エントロピー勾配サンプリング器(REGS)
REGSは、参照分布からサンプルへの初期サンプルを非正規化対象分布から反復的に押し出す単純な非線形変換の列を求める粒子法である。
論文 参考訳(メタデータ) (2021-10-06T14:10:38Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳(メタデータ) (2021-06-30T17:51:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。