論文の概要: Rayleigh-Gauss-Newton optimization with enhanced sampling for
variational Monte Carlo
- arxiv url: http://arxiv.org/abs/2106.10558v1
- Date: Sat, 19 Jun 2021 19:05:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 15:39:23.676408
- Title: Rayleigh-Gauss-Newton optimization with enhanced sampling for
variational Monte Carlo
- Title（参考訳）: rayleigh-gauss-newton optimization with enhanced sampling for variational monte carlo
- Authors: Robert J. Webber, Michael Lindsey
- Abstract要約: 変分モンテカルロで用いられる最適化とサンプリング手法を解析する。
パフォーマンスを改善するために変更を導入します。
特に、RGNをエネルギースパイクに対して堅牢にすることができることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational Monte Carlo (VMC) is an approach for computing ground-state
wavefunctions that has recently become more powerful due to the introduction of
neural network-based wavefunction parametrizations. However, efficiently
training neural wavefunctions to converge to an energy minimum remains a
difficult problem. In this work, we analyze optimization and sampling methods
used in VMC and introduce alterations to improve their performance. First,
based on theoretical convergence analysis in a noiseless setting, we motivate a
new optimizer that we call the Rayleigh-Gauss-Newton method, which can improve
upon gradient descent and natural gradient descent to achieve superlinear
convergence. Second, in order to realize this favorable comparison in the
presence of stochastic noise, we analyze the effect of sampling error on VMC
parameter updates and experimentally demonstrate that it can be reduced by the
parallel tempering method. In particular, we demonstrate that RGN can be made
robust to energy spikes that occur when new regions of configuration space
become available to the sampler over the course of optimization. Finally,
putting theory into practice, we apply our enhanced optimization and sampling
methods to the transverse-field Ising and XXZ models on large lattices,
yielding ground-state energy estimates with remarkably high accuracy after just
200-500 parameter updates.
- Abstract（参考訳）: 変分モンテカルロ(VMC)は、ニューラルネットワークベースの波動関数パラメトリゼーションの導入により、最近より強力になった基底状態波動関数の計算手法である。
しかし、エネルギー最小限に収束するために効率的に神経波関数を訓練することは難しい問題である。
本研究では,VMCにおける最適化手法とサンプリング手法を解析し,性能改善のための修正を導入する。
まず,無雑音環境における理論的収束解析に基づいて,レイリー・ガウス・ニュートン法(rayleigh-gauss-newton method)と呼ばれる超線形収束を実現するための新しい最適化器を開発した。
第二に, この確率的雑音の存在下での良好な比較を実現するため, サンプリング誤差がVMCパラメータの更新に与える影響を分析し, 並列テンパリング法により低減できることを実験的に実証した。
特に、RGNは、最適化の過程で、新しい構成空間の領域がサンプルに利用可能になったときに生じるエネルギースパイクに対して堅牢にすることができることを示す。
最後に,理論を実践し,大格子上の横場イジングモデルとxxzモデルに対して拡張最適化とサンプリング法を適用し,200～500パラメータ更新後の地上エネルギー推定を極めて高精度に実現した。
関連論文リスト
- Second-order optimisation strategies for neural network quantum states [1.814143871199829]
Kronecker Factored Approximate Curvatureは様々なシミュレーションで広く使われているオプティマイザである。
ゲーム理論の枠組みでモンテカルロ変分法を再構成し,決定幾何学に基づく新しいオプティマイザを提案する。
この新たなオプティマイザは, 連続システムの実用的テストケースにおいて, 安定性, 精度, 収束速度の面で, KFACの改善を常に上回っていることがわかった。
論文 参考訳（メタデータ） (2024-01-31T02:34:14Z) - A Kaczmarz-inspired approach to accelerate the optimization of neural network wavefunctions [0.7438129207086058]
本稿では, このボトルネックを軽減するために, サブスタンプ・プロジェクテッド・グラディエント・インクリメント・ナチュラル・ディフレクション(SPRing)を提案する。
SPRingは、最近導入された最小ステップ再構成(MinSR)と、線形最小二乗問題を解くための古典的ランダム化カッツマルツ法(英語版)のアイデアを組み合わせたものである。
我々は、SPRingがMinSRとKronecker-Factored Approximate Curvature法(KFAC)の両方を多数の小さな原子や分子で上回ることを示した。
論文 参考訳（メタデータ） (2024-01-18T18:23:10Z) - Improving sample efficiency of high dimensional Bayesian optimization
with MCMC [7.241485121318798]
本稿ではマルコフ・チェイン・モンテカルロに基づく新しい手法を提案する。
提案アルゴリズムのMetropolis-HastingsとLangevin Dynamicsの両バージョンは、高次元逐次最適化および強化学習ベンチマークにおいて最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2024-01-05T05:56:42Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳（メタデータ） (2023-10-30T18:43:21Z) - Neural Operator Variational Inference based on Regularized Stein
Discrepancy for Deep Gaussian Processes [23.87733307119697]
本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。
NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。
提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
論文 参考訳（メタデータ） (2023-09-22T06:56:35Z) - Neural network quantum state with proximal optimization: a ground-state
searching scheme based on variational Monte Carlo [4.772126473623257]
提案手法では, ミスマッチしたサンプルを再利用することで, 複数の更新を可能とした, 近位最適化(PO)を用いた新しい目的関数を提案する。
正方格子上の1次元横フィールドイジングモデルと2次元ハイゼンベルク反強磁性体を用いた基底状態探索のためのVMC-POアルゴリズムの性能について検討する。
論文 参考訳（メタデータ） (2022-10-29T04:55:39Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2021-09-02T17:54:31Z) - Self-Tuning Stochastic Optimization with Curvature-Aware Gradient
Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。
モデルに基づく手続きが雑音勾配設定に収束することを証明する。
これは自己チューニング二次体を構築するための興味深いステップである。
論文 参考訳（メタデータ） (2020-11-09T22:07:30Z) - Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
視覚SLAMシステムのための新しい最適化バックボーンを提案する。
従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。
我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
論文 参考訳（メタデータ） (2020-11-02T18:02:26Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。