論文の概要: Convergence of stochastic gradient descent on parameterized sphere with
applications to variational Monte Carlo simulation
- arxiv url: http://arxiv.org/abs/2303.11602v1
- Date: Tue, 21 Mar 2023 05:41:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 16:30:21.588160
- Title: Convergence of stochastic gradient descent on parameterized sphere with
applications to variational Monte Carlo simulation
- Title(参考訳): パラメータ化球面上の確率勾配勾配の収束と変分モンテカルロシミュレーションへの応用
- Authors: Nilin Abrahamsen and Zhiyan Ding and Gil Goldshlager and Lin Lin
- Abstract要約: 本稿では,教師付き学習の設定のための新しいアルゴリズムを提案し,理論的にも数値的にもその収束性を示す。
また、量子物理学において広く用いられている変分モンテカルロ法(VMC)に対応する、教師なし設定に対する収束の最初の証明も提供する。
- 参考スコア(独自算出の注目度): 4.515712304805246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We analyze stochastic gradient descent (SGD) type algorithms on a
high-dimensional sphere which is parameterized by a neural network up to a
normalization constant. We provide a new algorithm for the setting of
supervised learning and show its convergence both theoretically and
numerically. We also provide the first proof of convergence for the
unsupervised setting, which corresponds to the widely used variational Monte
Carlo (VMC) method in quantum physics.
- Abstract(参考訳): ニューラルネットワークによってパラメータ化される高次元球面上の確率勾配勾配(SGD)型アルゴリズムを正規化定数まで解析する。
教師付き学習の設定のための新しいアルゴリズムを提供し,その収束を理論的および数値的に示す。
また、量子物理学において広く用いられている変分モンテカルロ法(VMC)に対応する教師なし設定に対する収束の最初の証明も提供する。
関連論文リスト
- Variational Density Propagation Continual Learning [0.0]
現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。
本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-22T21:51:39Z) - An Adaptive Gradient Method with Energy and Momentum [0.0]
目的関数の勾配に基づく最適化のための新しいアルゴリズムを提案する。
この方法は実装が簡単で、計算効率が良く、大規模機械学習問題に適している。
論文 参考訳(メタデータ) (2022-03-23T04:48:38Z) - Stochastic normalizing flows as non-equilibrium transformations [62.997667081978825]
正規化フローは従来のモンテカルロシミュレーションよりも効率的に格子場理論をサンプリングするための経路を提供することを示す。
本稿では,この拡張された生成モデルの効率を最適化する戦略と応用例を示す。
論文 参考訳(メタデータ) (2022-01-21T19:00:18Z) - On the Explicit Role of Initialization on the Convergence and Implicit
Bias of Overparametrized Linear Networks [1.0323063834827415]
勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。
正方形損失はその最適値に指数関数的に収束することを示す。
我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
論文 参考訳(メタデータ) (2021-05-13T15:13:51Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳(メタデータ) (2021-02-04T02:21:08Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳(メタデータ) (2020-07-02T16:02:02Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳(メタデータ) (2020-06-02T11:17:55Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳(メタデータ) (2020-02-20T15:43:02Z) - On Layer Normalization in the Transformer Architecture [112.40350994368741]
まず,学習速度のウォームアップが重要である理由を理論的に検討し,レイヤー正規化の位置が重要であることを示す。
ウォームアップステージのないPre-LNトランスフォーマーはベースラインと同等の結果が得られることを示す。
論文 参考訳(メタデータ) (2020-02-12T00:33:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。