Fugu-MT 論文翻訳(概要): Convergence of variational Monte Carlo simulation and scale-invariant pre-training

論文の概要: Convergence of variational Monte Carlo simulation and scale-invariant pre-training

arxiv url: http://arxiv.org/abs/2303.11602v4
Date: Thu, 4 Jul 2024 11:39:00 GMT
ステータス: 処理完了
システム内更新日: 2024-07-09 03:12:39.072853
Title: Convergence of variational Monte Carlo simulation and scale-invariant pre-training
Title（参考訳）: 変分モンテカルロシミュレーションとスケール不変事前学習の収束性
Authors: Nilin Abrahamsen, Zhiyan Ding, Gil Goldshlager, Lin Lin,
Abstract要約: ニューラルネットワークの波動関数を最適化するために,変分モンテカルロ法(VMC)の収束バウンダリを提案する。エネルギー最小化に先立って一般的に用いられるエネルギー最小化相と教師付き事前学習相の両方について検討する。
参考スコア（独自算出の注目度）: 3.9620088918602865
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We provide theoretical convergence bounds for the variational Monte Carlo (VMC) method as applied to optimize neural network wave functions for the electronic structure problem. We study both the energy minimization phase and the supervised pre-training phase that is commonly used prior to energy minimization. For the energy minimization phase, the standard algorithm is scale-invariant by design, and we provide a proof of convergence for this algorithm without modifications. The pre-training stage typically does not feature such scale-invariance. We propose using a scale-invariant loss for the pretraining phase and demonstrate empirically that it leads to faster pre-training.
Abstract（参考訳）: 電子構造問題に対するニューラルネットワーク波動関数の最適化に応用した変分モンテカルロ法(VMC)の理論的収束バウンダリを提案する。エネルギー最小化に先立って一般的に用いられるエネルギー最小化相と教師付き事前学習相の両方について検討する。エネルギー最小化フェーズでは、標準アルゴリズムは設計によってスケール不変であり、このアルゴリズムの収束性の証明を変更せずに提供する。事前学習段階は、通常そのようなスケール不変性を持たない。本研究では,事前学習フェーズにスケール不変損失を用いることで,事前学習の高速化を実証する。

関連論文リスト

Scaling of contraction costs for entanglement renormalization algorithms including tensor Trotterization and variational Monte Carlo [0.0]
テンソルトロッタライゼーションやモンテカルロサンプリングが量子インスパイアされた古典的MERAアルゴリズムに繋がるかどうかを考察する。アルゴリズム位相図は、エネルギー精度のスケーリングと結合次元のトロッターステップの数に依存する最良のMERA法を示す。
論文参考訳（メタデータ） (2024-07-30T17:54:15Z)
DiJiang: Efficient Large Language Models through Compact Kernelization [30.24187657746638]
本稿では、事前学習したバニラ変換器を、トレーニングコストの少ない線形複雑化モデルに変換するための新しい周波数領域カーネル化手法を提案する。実験により,提案手法は元のTransformerに匹敵する性能を示したが,トレーニングコストを大幅に削減し,推論速度を大幅に高速化した。
論文参考訳（メタデータ） (2024-03-29T02:32:15Z)
Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
論文参考訳（メタデータ） (2023-09-11T22:42:50Z)
Geometry-aware training of factorized layers in tensor Tucker format [6.701651480567394]
重みテンソルのタッカー分解の要因を学習するための新しい手法を提案する。トレーニングの提案は, 元の非リファクタリング力学を局所的に近似する上で最適であることが証明された。本稿では,アルゴリズムの理論解析を行い,収束,近似,局所降下保証を示す。
論文参考訳（メタデータ） (2023-05-30T14:20:51Z)
Stochastic normalizing flows as non-equilibrium transformations [62.997667081978825]
正規化フローは従来のモンテカルロシミュレーションよりも効率的に格子場理論をサンプリングするための経路を提供することを示す。本稿では,この拡張された生成モデルの効率を最適化する戦略と応用例を示す。
論文参考訳（メタデータ） (2022-01-21T19:00:18Z)
On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。正方形損失はその最適値に指数関数的に収束することを示す。我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
論文参考訳（メタデータ） (2021-05-13T15:13:51Z)
Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文参考訳（メタデータ） (2021-02-04T02:21:08Z)
Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文参考訳（メタデータ） (2020-07-02T16:02:02Z)
Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文参考訳（メタデータ） (2020-06-02T11:17:55Z)
On Layer Normalization in the Transformer Architecture [112.40350994368741]
まず,学習速度のウォームアップが重要である理由を理論的に検討し,レイヤー正規化の位置が重要であることを示す。ウォームアップステージのないPre-LNトランスフォーマーはベースラインと同等の結果が得られることを示す。
論文参考訳（メタデータ） (2020-02-12T00:33:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。