論文の概要: A phase transition in sampling from Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2410.08423v1
• Date: Thu, 10 Oct 2024 23:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 03:26:42.315258
• Title: A phase transition in sampling from Restricted Boltzmann Machines
• Title（参考訳）: 制限ボルツマンマシンからのサンプリングにおける位相遷移
• Authors: Youngwoo Kwon, Qian Qin, Guanyang Wang, Yuchen Wei,
• Abstract要約: 制限ボルツマンマシンにおけるギブスサンプリング器の混合時間における位相遷移現象を証明した。 重要な洞察は、Gibbsサンプルと動的システムとのリンクである。
• 参考スコア（独自算出の注目度）: 2.6624014064407717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Restricted Boltzmann Machines are a class of undirected graphical models that play a key role in deep learning and unsupervised learning. In this study, we prove a phase transition phenomenon in the mixing time of the Gibbs sampler for a one-parameter Restricted Boltzmann Machine. Specifically, the mixing time varies logarithmically, polynomially, and exponentially with the number of vertices depending on whether the parameter $c$ is above, equal to, or below a critical value $c_\star\approx-5.87$. A key insight from our analysis is the link between the Gibbs sampler and a dynamical system, which we utilize to quantify the former based on the behavior of the latter. To study the critical case $c= c_\star$, we develop a new isoperimetric inequality for the sampler's stationary distribution by showing that the distribution is nearly log-concave.
• Abstract（参考訳）: 制限付きボルツマンマシン(Restricted Boltzmann Machines)は、ディープラーニングと教師なし学習において重要な役割を果たす、非指向型グラフィカルモデルのクラスである。 本研究では,1パラメータ制限ボルツマンマシンにおけるギブスサンプリング器の混合時間における相転移現象を実証する。 特に、混合時間は、パラメータ$c$が臨界値$c_\star\approx-5.87$以上であるかどうかによって、対数的に、多項式的に、指数的に、頂点数によって変化する。 分析から得られた重要な知見は、ギブスサンプリングと力学系とのリンクであり、後者の挙動に基づいて前者の振る舞いを定量化するために利用する。 臨界事例である$c=c_\star$ について検討するために,サンプルの定常分布に対する新しい等尺不等式を,分布がほぼ対数凹であることを示すことによって開発する。

関連論文リスト

• KPZ scaling from the Krylov space [83.88591755871734]
  近年,Cardar-Parisi-Zhangスケーリングをリアルタイムの相関器や自動相関器に示す超拡散が報告されている。 これらの結果から着想を得て,Krylov演算子に基づく相関関数のKPZスケーリングについて検討する。
  論文  参考訳（メタデータ） (2024-06-04T20:57:59Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• When does Metropolized Hamiltonian Monte Carlo provably outperform Metropolis-adjusted Langevin algorithm? [4.657614491309671]
  本研究では, 磁化ハミルトン・モンテカルロ (HMC) と跳躍フロッグ積分器の混合時間について解析した。 連続HMC力学の離散化における位置と速度変数の結合分布は, ほぼ不変であることを示す。
  論文  参考訳（メタデータ） (2023-04-10T17:35:57Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• A fast asynchronous MCMC sampler for sparse Bayesian inference [10.535140830570256]
  本稿では,非常に高速なマルコフ・チェイン・モンテカルロ(MCMC)サンプリングフレームワークを提案する。 本研究では, 高次元線形回帰問題において, 提案アルゴリズムで生成したマルコフ連鎖は, 主信号の正確な復元を行う不変分布を持つことを示す。
  論文  参考訳（メタデータ） (2021-08-14T02:20:49Z)
• Minimax Estimation of Partially-Observed Vector AutoRegressions [0.0]
  部分観測状態空間モデルの特性について検討する。 ダンツィヒセレクタに基づくスパース推定器と,その非漸近誤差の上限について述べる。 鉄道データ公開への応用は、公共交通機関の交通分析におけるこのモデルの有効性を浮き彫りにする。
  論文  参考訳（メタデータ） (2021-06-17T08:46:53Z)
• Tightening the Dependence on Horizon in the Sample Complexity of Q-Learning [59.71676469100807]
  この研究は、同期Q-ラーニングのサンプルの複雑さを、任意の$0varepsilon 1$に対して$frac|mathcalS| (1-gamma)4varepsilon2$の順序に絞る。 計算やストレージを余分に必要とせずに、高速なq-learningにマッチするvanilla q-learningの有効性を明らかにした。
  論文  参考訳（メタデータ） (2021-02-12T14:22:05Z)
• Unnormalized Variational Bayes [1.599072005190786]
  非正規化密度を近似するために経験的ベイズと変分ベイズを統一する。 このフレームワークは非正規化変分ベイズ (unnormalized variational Bayes, UVB) と呼ばれ、確率変数 $Y=X+N(0,sigma2 I_d)$ の潜在変数モデルを定式化したものである。
  論文  参考訳（メタデータ） (2020-07-29T21:58:54Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。