論文の概要: On the convergence of the Metropolis algorithm with fixed-order updates for multivariate binary probability distributions

• arxiv url: http://arxiv.org/abs/2006.14999v1
• Date: Fri, 26 Jun 2020 14:11:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 21:03:27.356103
• Title: On the convergence of the Metropolis algorithm with fixed-order updates for multivariate binary probability distributions
• Title（参考訳）: 多変量二値確率分布の固定順序更新によるメトロポリスアルゴリズムの収束について
• Authors: Kai Br\"ugge, Asja Fischer, Christian Igel
• Abstract要約: メトロポリスのアルゴリズムはおそらく最も基本的なマルコフ連鎖モンテカルロ (MCMC) 法である。 しかし、このアルゴリズムは多変量二元分布の場合、所望の分布に収束することが保証されていない。 ほぼ常に標準のメトロポリス作用素と同一動作するメトロポリス遷移演算子を提案する。
• 参考スコア（独自算出の注目度）: 25.186504310833197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Metropolis algorithm is arguably the most fundamental Markov chain Monte Carlo (MCMC) method. But the algorithm is not guaranteed to converge to the desired distribution in the case of multivariate binary distributions (e.g., Ising models or stochastic neural networks such as Boltzmann machines) if the variables (sites or neurons) are updated in a fixed order, a setting commonly used in practice. The reason is that the corresponding Markov chain may not be irreducible. We propose a modified Metropolis transition operator that behaves almost always identically to the standard Metropolis operator and prove that it ensures irreducibility and convergence to the limiting distribution in the multivariate binary case with fixed-order updates. The result provides an explanation for the behaviour of Metropolis MCMC in that setting and closes a long-standing theoretical gap. We experimentally studied the standard and modified Metropolis operator for models were they actually behave differently. If the standard algorithm also converges, the modified operator exhibits similar (if not better) performance in terms of convergence speed.
• Abstract（参考訳）: メトロポリスのアルゴリズムはおそらく最も基本的なマルコフ連鎖モンテカルロ (MCMC) 法である。 しかし、このアルゴリズムは、変数(サイトやニューロン)が一定の順序で更新された場合に、多変量二分分布(例えば、ボルツマン機械のようなイジングモデルや確率的ニューラルネットワーク)の場合、所望の分布に収束することが保証されていない。 理由は、対応するマルコフ連鎖が既約でないかもしれないからである。 本研究では,標準メトロポリス演算子とほぼ同値に振る舞う修正メトロポリス遷移演算子を提案し,固定順序更新を伴う多変量バイナリケースの制限分布に対する既約性と収束性を保証する。 その結果、Metropolis MCMCの設定における振る舞いを説明し、長い間理論的なギャップを閉じた。 モデルに対する標準および修正メトロポリス演算子について実験的に検討した。 標準アルゴリズムも収束すると、修正作用素は収束速度の点で類似した(より良くないが)性能を示す。

関連論文リスト

• Marginalization Consistent Mixture of Separable Flows for Probabilistic Irregular Time Series Forecasting [4.714246221974192]
  我々は,新しい確率的不規則時系列予測モデル,Marginalization Consistent Mixtures of Separable Flows (moses)を開発した。 mosesは、他の最先端のマーカライゼーション一貫性モデルより優れ、ProFITiと同等だが、ProFITiと異なり、マーカライゼーション一貫性を保証する。
  論文  参考訳（メタデータ） (2024-06-11T13:28:43Z)
• Generalized Schrödinger Bridge Matching [54.171931505066]
  一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。 我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。 このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:42:11Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Normalizing flow sampling with Langevin dynamics in the latent space [12.91637880428221]
  正規化フロー(NF)は、連続生成器を使用して、単純な潜伏分布(例えばガウス分布)をトレーニングデータセットに関連する経験的対象分布にマッピングする。 標準NFは可微分写像を実装しているため、複雑な分布を対象とする場合、病理学的挙動に悩まされることがある。 本稿では,マルコフ連鎖モンテカルロアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-20T09:31:35Z)
• Improving multiple-try Metropolis with local balancing [0.0]
  MTM(Multi-try Metropolis)はマルコフ連鎖モンテカルロ法である。 我々は,この重み関数が高次元の病理行動を引き起こすことを理論的にも経験的にも示している。 そこで本稿では,Zanella (2020) の局所平衡分布に類似した重み関数の利用を提案する。
  論文  参考訳（メタデータ） (2022-11-21T16:14:17Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Structured Stochastic Gradient MCMC [20.68905354115655]
  近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
  論文  参考訳（メタデータ） (2021-07-19T17:18:10Z)
• Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation [63.77513071533095]
  既存のシーケンシャルメソッドの多くは、ユーザが決定論的であると仮定する。 項目-項目遷移は、いくつかの項目において著しく変動し、ユーザの興味のランダム性を示す。 本稿では,不確実性を逐次モデルに注入する分散型トランスフォーマーシークエンシャルレコメンデーション(DT4SR)を提案する。
  論文  参考訳（メタデータ） (2021-06-11T04:35:21Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)
• Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of Multimodal Posteriors [8.11978827493967]
  MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。 重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。 いくつかのモデルファミリで実践的な実装を示す。
  論文  参考訳（メタデータ） (2020-06-22T15:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。