論文の概要: LSB: Local Self-Balancing MCMC in Discrete Spaces

• arxiv url: http://arxiv.org/abs/2109.03867v1
• Date: Wed, 8 Sep 2021 18:31:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-11 10:13:44.548199
• Title: LSB: Local Self-Balancing MCMC in Discrete Spaces
• Title（参考訳）: LSB:離散空間におけるローカルセルフバランシングMCMC
• Authors: Emanuele Sansone
• Abstract要約: 本研究は、純粋に離散的な領域におけるサンプリング効率を向上させるために、機械学習を用いて提案された分布をターゲットに適応させることを検討する。 得られたサンプルをLSB(Locally Self-Balancing Sampler)と呼ぶ。
• 参考スコア（独自算出の注目度）: 2.385916960125935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Markov Chain Monte Carlo (MCMC) methods are promising solutions to sample from target distributions in high dimensions. While MCMC methods enjoy nice theoretical properties, like guaranteed convergence and mixing to the true target, in practice their sampling efficiency depends on the choice of the proposal distribution and the target at hand. This work considers using machine learning to adapt the proposal distribution to the target, in order to improve the sampling efficiency in the purely discrete domain. Specifically, (i) it proposes a new parametrization for a family of proposal distributions, called locally balanced proposals, (ii) it defines an objective function based on mutual information and (iii) it devises a learning procedure to adapt the parameters of the proposal to the target, thus achieving fast convergence and fast mixing. We call the resulting sampler as the Locally Self-Balancing Sampler (LSB). We show through experimental analysis on the Ising model and Bayesian networks that LSB is indeed able to improve the efficiency over a state-of-the-art sampler based on locally balanced proposals, thus reducing the number of iterations required to converge, while achieving comparable mixing performance.
• Abstract（参考訳）: マルコフ連鎖モンテカルロ法(mcmc)は、高次元の標的分布からサンプルを得るための有望な解である。 MCMC法は、真の目標への収束と混合を保証するような優れた理論的性質を享受するが、実際、それらのサンプリング効率は提案分布と対象の選択に依存する。 本研究は、純粋離散領域におけるサンプリング効率を向上させるために、機械学習を用いて提案分布をターゲットに適応させることを検討する。 具体的には、(i)局所均衡提案(local balanced proposals)と呼ばれる一連の提案分布に対する新しいパラメトリゼーションを提案し、(ii)相互情報に基づく客観的関数を定義し、(iii)提案のパラメータをターゲットに適応させる学習手順を考案し、高速収束と高速混合を実現する。 得られたサンプルをLSB(Locally Self-Balancing Sampler)と呼ぶ。 イジングモデルとベイズネットワークを実験的に分析した結果、lsbは局所的なバランスのとれた提案に基づく最先端のサンプリング器よりも効率が向上し、収束に必要なイテレーションの数を削減し、同等のミキシング性能を達成できることがわかった。

関連論文リスト

• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Adaptive importance sampling for heavy-tailed distributions via $\alpha$-divergence minimization [2.879807093604632]
  提案手法は,学生の提案分布からターゲットを近似するAISアルゴリズムを提案する。 我々は、目標と提案の護衛モーメントを一致させて、位置とスケールパラメータを適応させる。 これらの更新は、ターゲットと提案の間の$alpha$-divergenceを最小化し、変動推論と接続する。
  論文  参考訳（メタデータ） (2023-10-25T14:07:08Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• Score-Based Diffusion meets Annealed Importance Sampling [89.92133671626327]
  Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。 我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
  論文  参考訳（メタデータ） (2022-08-16T12:13:29Z)
• Sampling from Discrete Energy-Based Models with Quality/Efficiency Trade-offs [3.491202838583993]
  エネルギーベースモデル(EBM)は、確率分布の非常に柔軟な仕様を可能にする。 これらの分布から正確なサンプルを得るためのメカニズムは提供されていない。 そこで本研究では,サンプリング効率とサンプリング品質のトレードオフを可能にする,新しい近似サンプリング手法であるQuasi Rejection Smpling (QRS)を提案する。
  論文  参考訳（メタデータ） (2021-12-10T17:51:37Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Simpler Certified Radius Maximization by Propagating Covariances [39.851641822878996]
  Cifar-10、ImageNet、Places365などのデータセットの認定半径を最大化するアルゴリズムを示します。 これらの基準を満たすことで、データセットの認定半径を適度な深さで最大化し、全体の精度を小さくするアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2021-04-13T01:38:36Z)
• A Neural Network MCMC sampler that maximizes Proposal Entropy [3.4698840925433765]
  ニューラルネットワークでサンプルを増強することで、効率が向上する可能性がある。 我々のネットワークアーキテクチャは、ターゲット分布の勾配を利用して提案を生成する。 適応型サンプリング器はランゲヴィン力学サンプリング器よりもはるかに高い提案エントロピーで非バイアスサンプリングを実現する。
  論文  参考訳（メタデータ） (2020-10-07T18:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。