論文の概要: Second-order optimisation strategies for neural network quantum states
- arxiv url: http://arxiv.org/abs/2401.17550v1
- Date: Wed, 31 Jan 2024 02:34:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 15:53:19.953219
- Title: Second-order optimisation strategies for neural network quantum states
- Title（参考訳）: ニューラルネットワーク量子状態の2次最適化戦略
- Authors: M. Drissi, J. W. T. Keeble, J. Rozal\'en Sarmiento, A. Rios
- Abstract要約: Kronecker Factored Approximate Curvatureは様々なシミュレーションで広く使われているオプティマイザである。
ゲーム理論の枠組みでモンテカルロ変分法を再構成し,決定幾何学に基づく新しいオプティマイザを提案する。
この新たなオプティマイザは, 連続システムの実用的テストケースにおいて, 安定性, 精度, 収束速度の面で, KFACの改善を常に上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 1.814143871199829
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Variational Monte Carlo method has recently seen important advances
through the use of neural network quantum states. While more and more
sophisticated ans\"atze have been designed to tackle a wide variety of quantum
many-body problems, modest progress has been made on the associated
optimisation algorithms. In this work, we revisit the Kronecker Factored
Approximate Curvature, an optimiser that has been used extensively in a variety
of simulations. We suggest improvements on the scaling and the direction of
this optimiser, and find that they substantially increase its performance at a
negligible additional cost. We also reformulate the Variational Monte Carlo
approach in a game theory framework, to propose a novel optimiser based on
decision geometry. We find that, on a practical test case for continuous
systems, this new optimiser consistently outperforms any of the KFAC
improvements in terms of stability, accuracy and speed of convergence. Beyond
Variational Monte Carlo, the versatility of this approach suggests that
decision geometry could provide a solid foundation for accelerating a broad
class of machine learning algorithms.
- Abstract（参考訳）: 変分モンテカルロ法は近年、ニューラルネットワーク量子状態を用いることで重要な進歩を遂げている。
より洗練された ans\atze は、様々な量子多体問題に対処するために設計されてきたが、関連する最適化アルゴリズムの進歩は緩やかである。
本研究では,様々なシミュレーションで広く用いられているオプティマイザであるKronecker Factored Approximate Curvatureを再検討する。
私たちは、スケーリングとこのオプティマイザーの方向性の改善を提案し、パフォーマンスを無視できない追加コストで大幅に向上させることを見出します。
また,ゲーム理論の枠組みでモンテカルロ変分法を再構成し,決定幾何学に基づく新しいオプティマイザを提案する。
この新たなオプティマイザは, 連続システムの実用的テストケースにおいて, 安定性, 精度, 収束速度の面で, KFACの改善を常に上回っていることがわかった。
変分モンテカルロ以外にも、このアプローチの万能性は、決定幾何学が幅広い機械学習アルゴリズムを加速するための確かな基盤となることを示唆している。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳（メタデータ） (2023-12-28T23:15:18Z) - Quantum algorithm for robust optimization via stochastic-gradient online
learning [0.0]
我々は、Ben-Talらによるオンラインロバスト最適化メタアルゴリズムを考察し、幅広い下位段階において、このアルゴリズムが元の非確率バージョンと同じ保証を持つことを示す。
我々は,このアルゴリズムの量子バージョンを開発し,少なくとも次元の2次改善が達成可能であることを示す。
論文 参考訳（メタデータ） (2023-04-05T07:25:07Z) - Markov Chain Monte-Carlo Enhanced Variational Quantum Algorithms [0.0]
本稿では,モンテカルロ法を用いて解析的境界を時間複雑度に設定する変動量子アルゴリズムを提案する。
提案手法の有効性と,MaxCutインスタンスの量子回路シミュレーションによる解析の有効性を実証する。
論文 参考訳（メタデータ） (2021-12-03T23:03:44Z) - A theoretical and empirical study of new adaptive algorithms with
additional momentum steps and shifted updates for stochastic non-convex
optimization [0.0]
適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。
本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
論文 参考訳（メタデータ） (2021-10-16T09:47:57Z) - SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。
特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文 参考訳（メタデータ） (2021-06-15T15:16:28Z) - Bayesian Optimisation for Constrained Problems [0.0]
本稿では,制約を扱える知恵グラディエント獲得関数の新たな変種を提案する。
我々は、このアルゴリズムを、他の4つの最先端制約されたベイズ最適化アルゴリズムと比較し、その優れた性能を実証する。
論文 参考訳（メタデータ） (2021-05-27T15:43:09Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Quantum variational optimization: The role of entanglement and problem
hardness [0.0]
本稿では, 絡み合いの役割, 変動量子回路の構造, 最適化問題の構造について検討する。
数値計算の結果,絡み合うゲートの分布を問題のトポロジに適応させる利点が示唆された。
リスク型コスト関数に条件値を適用することで最適化が向上し、最適解と重複する確率が増大することを示す。
論文 参考訳（メタデータ） (2021-03-26T14:06:54Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-23T01:34:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。