論文の概要: A Kaczmarz-inspired approach to accelerate the optimization of neural network wavefunctions

• arxiv url: http://arxiv.org/abs/2401.10190v1
• Date: Thu, 18 Jan 2024 18:23:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 15:36:18.339003
• Title: A Kaczmarz-inspired approach to accelerate the optimization of neural network wavefunctions
• Title（参考訳）: Kaczmarzにヒントを得たニューラルネットワーク波動関数の最適化
• Authors: Gil Goldshlager, Nilin Abrahamsen, Lin Lin
• Abstract要約: 本稿では, このボトルネックを軽減するために, サブスタンプ・プロジェクテッド・グラディエント・インクリメント・ナチュラル・ディフレクション(SPRing)を提案する。 SPRingは、最近導入された最小ステップ再構成(MinSR)と、線形最小二乗問題を解くための古典的ランダム化カッツマルツ法(英語版)のアイデアを組み合わせたものである。 我々は、SPRingがMinSRとKronecker-Factored Approximate Curvature法(KFAC)の両方を多数の小さな原子や分子で上回ることを示した。
• 参考スコア（独自算出の注目度）: 0.8359711817610189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network wavefunctions optimized using the variational Monte Carlo method have been shown to produce highly accurate results for the electronic structure of atoms and small molecules, but the high cost of optimizing such wavefunctions prevents their application to larger systems. We propose the Subsampled Projected-Increment Natural Gradient Descent (SPRING) optimizer to reduce this bottleneck. SPRING combines ideas from the recently introduced minimum-step stochastic reconfiguration optimizer (MinSR) and the classical randomized Kaczmarz method for solving linear least-squares problems. We demonstrate that SPRING outperforms both MinSR and the popular Kronecker-Factored Approximate Curvature method (KFAC) across a number of small atoms and molecules, given that the learning rates of all methods are optimally tuned. For example, on the oxygen atom, SPRING attains chemical accuracy after forty thousand training iterations, whereas both MinSR and KFAC fail to do so even after one hundred thousand iterations.
• Abstract（参考訳）: 変動モンテカルロ法を用いて最適化されたニューラルネットワークの波動関数は、原子や小さな分子の電子構造に対して高精度な結果をもたらすことが示されているが、そのような波動関数を最適化するコストが高いため、より大きなシステムへの応用が妨げられる。 このボトルネックを低減すべく,springオプティマイザ(subsampled projected-increment natural gradient descent)を提案する。 springは、最近導入されたminimum-step stochastic reconfiguration optimizer(minsr)と、線形最小二乗問題を解く古典的なランダム化kaczmarzメソッドのアイデアを組み合わせる。 SPRing は MinSR と Kronecker-Factored Approximate Curvature 法 (KFAC) を多数の小原子および分子で比較し,全ての手法の学習速度が最適に調整されていることを実証した。 例えば、酸素原子上では、SPRINGは4万回のトレーニングを繰り返した後に化学的精度を得るが、MinSRとKFACは1万回のトレーニングの後にもそれを行うことができない。

関連論文リスト

• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Improved Optimization for the Neural-network Quantum States and Tests on the Chromium Dimer [11.985673663540688]
  ニューラルネットワーク量子状態(NQS)は、かなり高度な波動関数アンザッツ研究を持っている。 この研究は、NQSを用いたVMC最適化の計算要求を減らすために、3つのアルゴリズム拡張を導入する。
  論文  参考訳（メタデータ） (2024-04-14T15:07:57Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• FAVOR#: Sharp Attention Kernel Approximations via New Classes of Positive Random Features [39.282051468586666]
  本稿では,ガウスとソフトマックス・カーネルを近似したパラメータ化,正,非三角形のRFを提案する。 提案手法は, カーネル回帰タスクにおいて, 従来の手法よりも分散低減し, 性能的に優れていることを示す。 また,変換器の自己アテンション近似法であるFAVOR#を提案する。
  論文  参考訳（メタデータ） (2023-02-01T22:43:29Z)
• Efficient Approximations of the Fisher Matrix in Neural Networks using Kronecker Product Singular Value Decomposition [0.0]
  自然勾配降下法は, 通常の勾配降下法よりも効率よく目的関数を最小化できることを示した。 ディープニューラルネットワークのトレーニングにおけるこのアプローチのボトルネックは、各イテレーションでFiher Information Matrix (FIM)に対応する大規模な密度の高い線形システムを解くことの禁止コストにある。 これは、正確なFIMまたは経験的なFIMの様々な近似を動機付けている。 最も洗練されたものは KFAC であり、Kronecker による FIM のブロック対角近似を含む。 わずかな追加費用だけで、精度の観点からのKFACの改良が提案されている。
  論文  参考訳（メタデータ） (2022-01-25T12:56:17Z)
• A deep learning-based model reduction (DeePMR) method for simplifying chemical kinetics [10.438320849775224]
  The DeePMR is proposed and validationed using high-teature auto-ignitions, perfect stired reactors (PSR), and one-dimensional free propagating flames of n-heptane/air mixtures。 DeePMRの鍵となる考え方は、最適化問題における目的関数を定式化するためにディープニューラルネットワーク(DNN)を使用することである。
  論文  参考訳（メタデータ） (2022-01-06T12:31:32Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Rayleigh-Gauss-Newton optimization with enhanced sampling for variational Monte Carlo [0.0]
  変分モンテカルロで用いられる最適化とサンプリング手法を解析する。 パフォーマンスを改善するために変更を導入します。 特に、RGNをエネルギースパイクに対して堅牢にすることができることを示す。
  論文  参考訳（メタデータ） (2021-06-19T19:05:52Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。