論文の概要: Chain of Log-Concave Markov Chains

• arxiv url: http://arxiv.org/abs/2305.19473v1
• Date: Wed, 31 May 2023 01:00:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 19:06:28.677383
• Title: Chain of Log-Concave Markov Chains
• Title（参考訳）: log-concave マルコフ鎖の鎖
• Authors: Saeed Saremi, Ji Won Park, Francis Bach
• Abstract要約: 等方的ガウス平滑化(英語版)を用いて問題に取り組むための枠組みを導入する。 我々は、常に密度からのサンプリングを対数凹凸条件密度からのサンプリング列に分解できることを証明した。 我々は,分布のモード間で「絡み合う」アルゴリズムの顕著な能力について報告する。
• 参考スコア（独自算出の注目度）: 1.3535770763481905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Markov chain Monte Carlo (MCMC) is a class of general-purpose algorithms for sampling from unnormalized densities. There are two well-known problems facing MCMC in high dimensions: (i) The distributions of interest are concentrated in pockets separated by large regions with small probability mass, and (ii) The log-concave pockets themselves are typically ill-conditioned. We introduce a framework to tackle these problems using isotropic Gaussian smoothing. We prove one can always decompose sampling from a density (minimal assumptions made on the density) into a sequence of sampling from log-concave conditional densities via accumulation of noisy measurements with equal noise levels. This construction keeps track of a history of samples, making it non-Markovian as a whole, but the history only shows up in the form of an empirical mean, making the memory footprint minimal. Our sampling algorithm generalizes walk-jump sampling [1]. The "walk" phase becomes a (non-Markovian) chain of log-concave Langevin chains. The "jump" from the accumulated measurements is obtained by empirical Bayes. We study our sampling algorithm quantitatively using the 2-Wasserstein metric and compare it with various Langevin MCMC algorithms. We also report a remarkable capacity of our algorithm to "tunnel" between modes of a distribution.
• Abstract（参考訳）: マルコフ連鎖モンテカルロ(MCMC)は、非正規化密度からサンプリングする汎用アルゴリズムのクラスである。 mcmcに直面する高次元の問題は2つある。 (i)利息分布は、確率質量の少ない大領域で区切られたポケットに集中し、 (ii)ログコンケーブのポケット自体は通常不調である。 我々は, 等方性ガウス平滑化を用いてこの問題に取り組むための枠組みを提案する。 密度(密度に関する最小の仮定)から、ノイズレベルの等しいノイズ測定値の蓄積による対数凸条件密度からのサンプリング列へと、常にサンプリングを分解できることを実証する。 この構造はサンプルの履歴を追跡し、全体としてはマルコフ的ではないが、その履歴は経験的平均の形でしか現れず、メモリフットプリントは最小限に抑えられている。 このサンプリングアルゴリズムはウォークジャンプサンプリングを一般化する[1]。 ウォーク」フェーズはログコンケーブランジュバン鎖の(非マルコフ的)連鎖となる。 累積測定からの「ジャンプ」は経験的ベイズによって得られる。 2-wassersteinメトリックを用いてサンプリングアルゴリズムを定量的に検討し,様々なランジュバンmcmcアルゴリズムと比較した。 また,分布のモード間を"トンネル"するアルゴリズムの著明な性能について報告する。

関連論文リスト

• Stochastic Quantum Sampling for Non-Logconcave Distributions and Estimating Partition Functions [13.16814860487575]
  非対数確率分布からサンプリングする量子アルゴリズムを提案する。 f$ は有限和 $f(x):= frac1Nsum_k=1N f_k(x)$ と書くことができる。
  論文  参考訳（メタデータ） (2023-10-17T17:55:32Z)
• Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting [64.0722630873758]
  我々は、ある微分方程式のオイラー・マルヤマ離散化のように見える、より一般で幅広いマルコフ連鎖、伊藤鎖を考える。 伊藤鎖の法則と微分方程式の間の$W_2$-距離の有界性を証明する。
  論文  参考訳（メタデータ） (2023-10-09T18:38:56Z)
• Importance sampling for stochastic quantum simulations [68.8204255655161]
  我々は、係数に応じてハミルトン式からサンプリングしてランダムな積公式を構築するqDriftプロトコルを導入する。 サンプリング段階における個別のシミュレーションコストを考慮し、同じ精度でシミュレーションコストを削減可能であることを示す。 格子核効果場理論を用いて数値シミュレーションを行った結果, 実験結果が得られた。
  論文  参考訳（メタデータ） (2022-12-12T15:06:32Z)
• Resolving the Mixing Time of the Langevin Algorithm to its Stationary Distribution for Log-Concave Sampling [34.66940399825547]
  本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。 本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
  論文  参考訳（メタデータ） (2022-10-16T05:11:16Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• A fast asynchronous MCMC sampler for sparse Bayesian inference [10.535140830570256]
  本稿では,非常に高速なマルコフ・チェイン・モンテカルロ(MCMC)サンプリングフレームワークを提案する。 本研究では, 高次元線形回帰問題において, 提案アルゴリズムで生成したマルコフ連鎖は, 主信号の正確な復元を行う不変分布を持つことを示す。
  論文  参考訳（メタデータ） (2021-08-14T02:20:49Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)
• The Boomerang Sampler [4.588028371034406]
  本稿では, 連続時間非可逆マルコフ連鎖モンテカルロアルゴリズムの新たなクラスとして, ブーメラン・サンプラーを導入する。 提案手法は実装が容易であることを実証し,既存のベンチマークを断片的決定論的マルコフプロセスより優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-24T14:52:22Z)
• Oracle Lower Bounds for Stochastic Gradient Sampling Algorithms [39.746670539407084]
  我々は、$bbRd$の強い対数凹密度からサンプリングする問題を考察する。 必要なログ密度の勾配クエリ数に基づいて,情報理論の下界を証明した。
  論文  参考訳（メタデータ） (2020-02-01T23:46:35Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。