論文の概要: Sampling Approximately Low-Rank Ising Models: MCMC meets Variational
Methods
- arxiv url: http://arxiv.org/abs/2202.08907v1
- Date: Thu, 17 Feb 2022 21:43:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-21 14:36:09.784749
- Title: Sampling Approximately Low-Rank Ising Models: MCMC meets Variational
Methods
- Title（参考訳）: 約低ランクアイシングモデルサンプリング:MCMCは変分法を満たす
- Authors: Frederic Koehler and Holden Lee and Andrej Risteski
- Abstract要約: 一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。
我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
- 参考スコア（独自算出の注目度）: 35.24886589614034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider Ising models on the hypercube with a general interaction matrix
$J$, and give a polynomial time sampling algorithm when all but $O(1)$
eigenvalues of $J$ lie in an interval of length one, a situation which occurs
in many models of interest. This was previously known for the Glauber dynamics
when *all* eigenvalues fit in an interval of length one; however, a single
outlier can force the Glauber dynamics to mix torpidly. Our general result
implies the first polynomial time sampling algorithms for low-rank Ising models
such as Hopfield networks with a fixed number of patterns and Bayesian
clustering models with low-dimensional contexts, and greatly improves the
polynomial time sampling regime for the antiferromagnetic/ferromagnetic Ising
model with inconsistent field on expander graphs. It also improves on previous
approximation algorithm results based on the naive mean-field approximation in
variational methods and statistical physics.
Our approach is based on a new fusion of ideas from the MCMC and variational
inference worlds. As part of our algorithm, we define a new nonconvex
variational problem which allows us to sample from an exponential reweighting
of a distribution by a negative definite quadratic form, and show how to make
this procedure provably efficient using stochastic gradient descent. On top of
this, we construct a new simulated tempering chain (on an extended state space
arising from the Hubbard-Stratonovich transform) which overcomes the obstacle
posed by large positive eigenvalues, and combine it with the SGD-based sampler
to solve the full problem.
- Abstract（参考訳）: 我々は、一般的な相互作用行列 $j$ を持つ超キューブ上のイジングモデルを検討し、もし$o(1)$ の固有値以外が長さ 1 の間隔にある場合、多項式時間サンプリングアルゴリズムを与える。
これは以前は、*all*固有値が長さ1の間隔に収まるグラウバー力学で知られていたが、一方のアウトリアーはグラウバー力学をひどく混ぜ合わせることができる。
この結果から,低次元文脈のホップフィールドネットワークやベイズクラスタリングモデルなどの低次アイジングモデルに対する最初の多項式時間サンプリングアルゴリズムが提案され,拡張器グラフ上の不整合場を持つ反強磁性/強磁性アイジングモデルに対する多項式時間サンプリング方式が大幅に改善された。
また、変分法および統計物理学における素平均場近似に基づいて、従来の近似アルゴリズムの結果を改善した。
我々のアプローチは、MCMCと変分推論の世界からの新たなアイデアの融合に基づいている。
アルゴリズムの一部として,分布の指数関数的再重み付けから負の定値二次形式でサンプル化できる新しい非凸変分問題を定義し,確率的勾配降下を用いてこの手順を効果的に行う方法を示す。
この上に、大きな正の固有値によって生じる障害を克服し、それをSGDベースのサンプリング器と組み合わせて全問題を解決する、新しい模擬テンパリングチェーン(Hubbard-Stratonovich変換から生じる拡張状態空間)を構築する。
関連論文リスト
- Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。
シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。
実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-08-13T08:09:05Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - A Unified Approach to Learning Ising Models: Beyond Independence and
Bounded Width [7.605563562103568]
我々はIsingモデルの基本パラメータをデータから効率的に学習する問題を再考する。
ノード単位のロジスティック回帰に基づく単純な既存手法が、いくつかの新しい設定で基盤モデルの回復に成功していることを示す。
論文 参考訳（メタデータ） (2023-11-15T18:41:19Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Reconstructing the Universe with Variational self-Boosted Sampling [7.922637707393503]
ハミルトニアン・モンテカルロ (HMC) のような伝統的なアルゴリズムは、相関サンプルを生成するために計算的に非効率である。
本稿では,両アルゴリズムの欠点を軽減するために,変分自己ブーストサンプリング(VBS)と呼ばれるハイブリッド方式を開発する。
VBSは、単純なVIアプローチよりも優れた品質のサンプルを生成し、HMCのみを用いてサンプリングフェーズの相関長を10～50倍に削減する。
論文 参考訳（メタデータ） (2022-06-28T21:30:32Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - A fast asynchronous MCMC sampler for sparse Bayesian inference [10.535140830570256]
本稿では,非常に高速なマルコフ・チェイン・モンテカルロ(MCMC)サンプリングフレームワークを提案する。
本研究では, 高次元線形回帰問題において, 提案アルゴリズムで生成したマルコフ連鎖は, 主信号の正確な復元を行う不変分布を持つことを示す。
論文 参考訳（メタデータ） (2021-08-14T02:20:49Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。
アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。
ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文 参考訳（メタデータ） (2020-02-20T10:50:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。