論文の概要: Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals
- arxiv url: http://arxiv.org/abs/2308.14945v3
- Date: Mon, 2 Oct 2023 16:08:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 13:23:54.380133
- Title: Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals
- Title（参考訳）: 正規化ワッサースタイン近似によるノイズフリーサンプリングアルゴリズム
- Authors: Hong Ye Tan, Stanley Osher, Wuchen Li
- Abstract要約: ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
- 参考スコア（独自算出の注目度）: 3.4240632942024685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of sampling from a distribution governed by a
potential function. This work proposes an explicit score based MCMC method that
is deterministic, resulting in a deterministic evolution for particles rather
than a stochastic differential equation evolution. The score term is given in
closed form by a regularized Wasserstein proximal, using a kernel convolution
that is approximated by sampling. We demonstrate fast convergence on various
problems and show improved dimensional dependence of mixing time bounds for the
case of Gaussian distributions compared to the unadjusted Langevin algorithm
(ULA) and the Metropolis-adjusted Langevin algorithm (MALA). We additionally
derive closed form expressions for the distributions at each iterate for
quadratic potential functions, characterizing the variance reduction. Empirical
results demonstrate that the particles behave in an organized manner, lying on
level set contours of the potential. Moreover, the posterior mean estimator of
the proposed method is shown to be closer to the maximum a-posteriori estimator
compared to ULA and MALA in the context of Bayesian logistic regression.
Additional examples demonstrate competitive performance for Bayesian neural
network training.
- Abstract（参考訳）: ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
この研究は、決定論的である明示的なスコアに基づくMCMC法を提案し、確率微分方程式の進化よりも粒子の決定論的進化をもたらす。
スコア項は、サンプリングによって近似されるカーネル畳み込みを用いて、正則化ワッサーシュタイン近似によって閉形式で与えられる。
我々は,様々な問題に対する高速収束を示し,ガウス分布の場合の混合時間境界の次元依存性を,unadjusted langevin algorithm (ula) と metropolis-adjusted langevin algorithm (mala) と比較検討した。
さらに、二次ポテンシャル関数に対する各イテレートの分布に対する閉形式式を導出し、分散還元を特徴付ける。
実験の結果、粒子は組織的に振る舞うことが示され、ポテンシャルのレベルセットの輪郭の上に横たわる。
さらに,提案手法の後方平均推定器は,ベイジアンロジスティック回帰の文脈において,ULAやMALAと比較して最大アテリオリ推定器に近いことが示されている。
その他の例は、ベイジアンニューラルネットワークトレーニングの競合性能を示している。
関連論文リスト
- A Stein Gradient Descent Approach for Doubly Intractable Distributions [5.63014864822787]
そこで本研究では,2重に抽出可能な分布を推定するために,モンテカルロ・スタイン変分勾配勾配(MC-SVGD)法を提案する。
提案手法は,後続分布に匹敵する推論性能を提供しながら,既存のアルゴリズムよりもかなりの計算ゲインを達成する。
論文 参考訳（メタデータ） (2024-10-28T13:42:27Z) - Harmonic Path Integral Diffusion [0.4527270266697462]
本稿では,連続多変量確率分布から抽出する新しい手法を提案する。
本手法では,状態空間の起点を中心とするデルタ関数を$t=0$とし,ターゲット分布に$t=1$で変換する。
これらのアルゴリズムは他のサンプリング手法、特にシミュレートおよびパス積分サンプリングと対比し、解析制御、精度、計算効率の点でそれらの利点を強調した。
論文 参考訳（メタデータ） (2024-09-23T16:20:21Z) - Analytical Approximation of the ELBO Gradient in the Context of the Clutter Problem [0.0]
変分推論問題におけるエビデンス下界(ELBO)の勾配を近似する解析解を提案する。
提案手法は線形計算複雑性とともに精度と収束率を示す。
論文 参考訳（メタデータ） (2024-04-16T13:19:46Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。
我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳（メタデータ） (2023-02-10T08:05:19Z) - A blob method method for inhomogeneous diffusion with applications to
multi-agent control and sampling [0.6562256987706128]
重み付き多孔質媒質方程式(WPME)に対する決定論的粒子法を開発し,その収束性を時間間隔で証明する。
提案手法は,マルチエージェントカバレッジアルゴリズムや確率測定のサンプリングに自然に応用できる。
論文 参考訳（メタデータ） (2022-02-25T19:49:05Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - SNIPS: Solving Noisy Inverse Problems Stochastically [25.567566997688044]
本稿では,線形逆問題の後部分布からサンプルを抽出するSNIPSアルゴリズムを提案する。
我々の解はランゲヴィン力学とニュートン法からのアイデアを取り入れ、事前訓練された最小二乗誤差(MMSE)を利用する。
得られたサンプルは、与えられた測定値と鋭く、詳細で一致しており、それらの多様性は、解決される逆問題に固有の不確実性を明らかにする。
論文 参考訳（メタデータ） (2021-05-31T13:33:21Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。