論文の概要: Momentum Stability and Adaptive Control in Stochastic Reconfiguration
- arxiv url: http://arxiv.org/abs/2604.18357v1
- Date: Mon, 20 Apr 2026 14:49:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.94686
- Title: Momentum Stability and Adaptive Control in Stochastic Reconfiguration
- Title（参考訳）: 確率的再構成におけるモーメント安定性と適応制御
- Authors: Yuyang Wang, Xin Liu,
- Abstract要約: 変動型モンテカルロ(VMC)と表現型ニューラルネットワークの波動関数の組み合わせは、基底状態計算の強力な経路となっている。
適応再構成(SR)による高精度分散による効率よく安定した波動関数最適化について検討する。
本研究では,実効的なスペクトル次元と部分空間重なりに基づく,チューニング不要な運動量適応型SR法PRIME-SRを提案する。
- 参考スコア（独自算出の注目度）: 6.526210062544706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational Monte Carlo (VMC) combined with expressive neural network wavefunctions has become a powerful route to high-accuracy ground-state calculations, yet its practical success hinges on efficient and stable wavefunction optimization. While stochastic reconfiguration (SR) provides a geometry-aware preconditioner motivated by imaginary-time evolution, its Kaczmarz-inspired variant, subsampled projected-increment natural gradient descent (SPRING), achieves state-of-the-art empirical performance. However, the effectiveness of SPRING is highly sensitive to the choice of a momentum-like parameter $μ$. The original sensitivity of $μ$ and the instability observed at $μ=1$, have remained unclear. In this work, we clarify the distinct mechanisms governing the regimes $μ<1$ and $μ=1$. We establish convergence guarantees for $0\leμ<1$ under mild assumptions, and construct counterexamples showing that $μ=1$ can induce divergence via uncontrolled growth along kernel-related directions when the step-size is not summable. Motivated by these theoretical insights and numerical observations, we further propose \textit{Principal Range Informed MomEntum SR} (PRIME-SR), a tuning-free momentum-adaptive SR method based on effective spectral dimension and subspace overlap. PRIME-SR achieves performance comparable to optimally tuned SPRING while significantly improving robustness in VMC optimization.
- Abstract（参考訳）: 変動型モンテカルロ(VMC)と表現型ニューラルネットワークの波動関数の組み合わせは、高精度な基底状態計算への強力な経路となっているが、その実践的な成功は、効率的で安定した波動関数の最適化にかかっている。
確率的再構成(SR)は、想像的時間進化に動機づけられた幾何学的事前条件を提供するが、Kaczmarzにインスパイアされた変種、サブサンプリングされた自然な勾配勾配(SPRING)は、最先端の実証的な性能を達成する。
しかし、SPRingの有効性は運動量のようなパラメータを$μ$で選択することに非常に敏感である。
元々の$μ$の感度と$μ=1$で観測された不安定性はいまだに不明である。
本研究は, 規則を規定する個別の機構である$μ<1$と$μ=1$を明確にする。
緩やかな仮定の下では、$0\leμ<1$の収束保証を確立し、ステップサイズが総和できない場合には、$μ=1$がカーネル関連の方向に沿って制御不能な成長を通じて発散を誘導できることを示す反例を構築する。
これらの理論的な洞察と数値的な観察により、実効スペクトル次元と部分空間重なりに基づく、無調波運動量適応SR法である \textit{Principal Range Informed MomEntum SR} (PRIME-SR) を提案する。
PRIME-SRは、最適に調整されたSPRingに匹敵する性能を達成し、VMC最適化の堅牢性を大幅に改善する。
関連論文リスト
- Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling [43.822941944402544]
ゼロ階最適化は、微調整された大規模言語モデルのための有望なメモリ効率のパラダイムを提供する。
しかし,壁面収差の緩やかな収束と高い推定分散により,その実用化は厳しく制約されている。
本稿では,適応層型ZO最適化フレームワークであるAdaLeZOを提案する。
論文 参考訳（メタデータ） (2026-04-20T13:37:31Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - $γ$-weakly $θ$-up-concavity: Linearizable Non-Convex Optimization with Applications to DR-Submodular and OSS Functions [52.031993908548294]
このような関数の広範な近似を特徴付ける新しい一階述語条件である$-weakly $-up-concavityを導入する。
本フレームワークは,DR-サブモジュラークラスに対する最適係数を復元し,既存の近似係数を大幅に改善する。
論文 参考訳（メタデータ） (2026-02-13T22:34:44Z) - Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities [0.0]
非コン最適化タスクのための新しいアルゴリズムとしてVR-A-A(VarianceReduced-Ascent with Armijo)を提案する。
本手法は,手動学習スケジューリングへの依存度を低減して,限界周期を効果的に抑制し,収束を加速することを示す。
論文 参考訳（メタデータ） (2026-01-30T14:43:07Z) - Majorization-Minimization Networks for Inverse Problems: An Application to EEG Imaging [4.063392865490957]
逆問題はしばしば誤りを犯し、強い安定性と収束を保証する最適化スキームを必要とする。
本稿では,二段階最適化設定における逆問題に対する学習されたMajorization-Minimization(MM)フレームワークを提案する。
我々は,古典的MM降下保証を保ちながら,各MMステップを管理する構造化曲率行列を学習する。
論文 参考訳（メタデータ） (2026-01-23T10:33:45Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - On PI Controllers for Updating Lagrange Multipliers in Constrained Optimization [16.40968330148623]
本稿では、$nu$PIアルゴリズムを提案し、PIコントローラに基づくラグランジュ乗算器更新の最適化に寄与する。
本研究では,勾配降下勾配の欠点に対処する運動量法が不可能であることを示す理論的,実証的な知見を提供する。
我々は、$nu$PIが単目的最小化の一般的な運動量法を一般化することを証明した。
論文 参考訳（メタデータ） (2024-06-07T00:13:31Z) - Robust Online Control with Model Misspecification [96.23493624553998]
本研究では,未知の非線形力学系のモデル不特定性を考慮したオンライン制御について検討する。
本研究は, 線形近似からの偏差を許容できる程度に測定できるロバスト性に着目した。
論文 参考訳（メタデータ） (2021-07-16T07:04:35Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Dynamics of Stochastic Momentum Methods on Large-scale, Quadratic Models [0.2741266294612776]
我々は高次元ランダム最小二乗問題に対して運動量を持つ勾配アルゴリズムのクラスを解析する。
固定運動量パラメータを持つ(小バッチ)運動量では,ステップサイズを正確に調整した場合,SGDよりも実際の性能向上は得られないことを示す。
非強凸条件では、運動量を用いてSGDよりも大きな改善が得られる。
論文 参考訳（メタデータ） (2021-06-07T15:08:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。