論文の概要: Provable Convergence of Variational Monte Carlo Methods
- arxiv url: http://arxiv.org/abs/2303.10599v1
- Date: Sun, 19 Mar 2023 08:29:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 18:23:09.355967
- Title: Provable Convergence of Variational Monte Carlo Methods
- Title（参考訳）: 変分モンテカルロ法の証明可能な収束
- Authors: Tianyou Li, Fan Chen, Huajie Chen and Zaiwen Wen
- Abstract要約: 変分モンテカルロは、多体量子問題の基底状態エネルギーを計算するための有望なアプローチである。
VMCの最近のパラダイムは、実験波動関数としてニューラルネットワークを構築し、マルコフ連鎖モンテカルロ(MCMC)を用いたサンプル量子構成と勾配降下(SGD)法によるトレーニングニューラルネットワークを構築している。
VMCはサドルポイントから脱出し、$(epsilon,epsilon1/4)$-approximate 2次定常ポイントまたは少なくとも$O(epsilon-11/2log2 (1)で$(epsilon,epsilon1/4)$-epsilon1/2$-varianceポイントに達することが示されている。
- 参考スコア（独自算出の注目度）: 4.889891507509606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Variational Monte Carlo (VMC) is a promising approach for computing the
ground state energy of many-body quantum problems and attracts more and more
interests due to the development of machine learning. The recent paradigms in
VMC construct neural networks as trial wave functions, sample quantum
configurations using Markov chain Monte Carlo (MCMC) and train neural networks
with stochastic gradient descent (SGD) method. However, the theoretical
convergence of VMC is still unknown when SGD interacts with MCMC sampling given
a well-designed trial wave function. Since MCMC reduces the difficulty of
estimating gradients, it has inevitable bias in practice. Moreover, the local
energy may be unbounded, which makes it harder to analyze the error of MCMC
sampling. Therefore, we assume that the local energy is sub-exponential and use
the Bernstein inequality for non-stationary Markov chains to derive error
bounds of the MCMC estimator. Consequently, VMC is proven to have a first order
convergence rate $O(\log K/\sqrt{n K})$ with $K$ iterations and a sample size
$n$. It partially explains how MCMC influences the behavior of SGD.
Furthermore, we verify the so-called correlated negative curvature condition
and relate it to the zero-variance phenomena in solving eigenvalue functions.
It is shown that VMC escapes from saddle points and reaches
$(\epsilon,\epsilon^{1/4})$ -approximate second order stationary points or
$\epsilon^{1/2}$-variance points in at least
$O(\epsilon^{-11/2}\log^{2}(1/\epsilon) )$ steps with high probability. Our
analysis enriches the understanding of how VMC converges efficiently and can be
applied to general variational methods in physics and statistics.
- Abstract（参考訳）: 変分モンテカルロ(VMC)は、多体量子問題の基底状態エネルギーを計算するための有望なアプローチであり、機械学習の開発によりますます関心を集めている。
VMCの最近のパラダイムは、実験波動関数としてニューラルネットワークを構築し、マルコフ連鎖モンテカルロ(MCMC)を用いたサンプル量子構成と確率勾配降下(SGD)法によるトレーニングニューラルネットワークを構築している。
しかし、sgdがよく設計された試行波関数を与えられたmcmcサンプリングと相互作用するとき、vmcの理論的収束はまだ不明である。
MCMCは勾配推定の難しさを減らすため、実際には避けられない偏見を持つ。
さらに、局所エネルギーは非有界であり、MCMCサンプリングの誤差を分析するのが難しくなる。
したがって、局所エネルギーは部分指数であり、非定常マルコフ鎖に対してベルンシュタイン不等式を用いてMCMC推定器の誤差境界を導出する。
したがって、VMC は 1 次収束率 $O(\log K/\sqrt{n K})$ と $K$ の反復とサンプルサイズ $n$ を持つことが証明されている。
MCMCがSGDの挙動にどのように影響するかを部分的に説明している。
さらに,いわゆる相関負曲率条件を検証し,固有値関数の解法におけるゼロ分散現象と関連づける。
VMC はサドル点から脱出して $(\epsilon,\epsilon^{1/4})$ -approximate 2次定常点または $\epsilon^{1/2}$-variance points in least $O(\epsilon^{-11/2}\log^{2}(1/\epsilon))$ steps with high probability に達する。
我々の分析は,VMCの収束の方法の理解を深め,物理学や統計学における一般的な変分法に適用することができる。
関連論文リスト
- Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
ステップサイズが一定となる勾配勾配(SGD)アルゴリズムを用いて, 強い凸と滑らかな問題を解く問題に対処する。
得られた推定子の平均二乗誤差を$n$の反復数に対して拡張する。
我々は、この鎖が定義された重み付きワッサーシュタイン半計量に関して幾何学的にエルゴード的であることを確証する。
論文 参考訳（メタデータ） (2024-10-07T15:02:48Z) - Stochastic Approximation with Biased MCMC for Expectation Maximization [9.4641739998927]
マルコフ連鎖モンテカルロを用いた近似スキームはMCMC-SAEMと呼ばれるアルゴリズムを作成するのに利用できる。
MCMC-SAEMは、理論上はあまり理解されていないMCMCアルゴリズムによってしばしば実行される。
ULA はランゲヴィンの段階的な選択に関してより安定であり、時としてより高速な収束をもたらすことが示される。
論文 参考訳（メタデータ） (2024-02-27T20:10:03Z) - Sharper Analysis for Minibatch Stochastic Proximal Point Methods:
Stability, Smoothness, and Deviation [41.082982732100696]
我々は,凸複合リスク最小化問題の解法として,近位点法(M-SPP)のミニバッチ変種について検討した。
ミニバッチサイズが$n$で二次数が$T$のM-SPPは、予想外収束の速さを楽しむことを示す。
小さい$n$-large-$T$設定では、この結果はSPP型アプローチの最もよく知られた結果を大幅に改善する。
論文 参考訳（メタデータ） (2023-01-09T00:13:34Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth
Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。
定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。
我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文 参考訳（メタデータ） (2021-06-30T18:32:46Z) - Estimation in Tensor Ising Models [5.161531917413708]
N$ノード上の分布から1つのサンプルを与えられた$p$-tensor Isingモデルの自然パラメータを推定する問題を考える。
特に、$sqrt N$-consistency of the MPL estimate in the $p$-spin Sherrington-Kirkpatrick (SK) model。
我々は、$p$-tensor Curie-Weiss モデルの特別な場合における MPL 推定の正確なゆらぎを導出する。
論文 参考訳（メタデータ） (2020-08-29T00:06:58Z) - On the Almost Sure Convergence of Stochastic Gradient Descent in
Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。
我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文 参考訳（メタデータ） (2020-06-19T14:11:26Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。