論文の概要: Implicitly Restarted Lanczos Enables Chemically-Accurate Shallow Neural Quantum States
- arxiv url: http://arxiv.org/abs/2601.01437v1
- Date: Sun, 04 Jan 2026 08:49:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:22.348376
- Title: Implicitly Restarted Lanczos Enables Chemically-Accurate Shallow Neural Quantum States
- Title（参考訳）: 急激に再起動したLaczosは、化学的に精度の低い神経量子状態を可能にする
- Authors: Wei Liu, Wenjie Dou,
- Abstract要約: ニューラル量子状態(NQS)トレーニングのコアエンジンとして,暗黙的に再起動したLanczos法(IRL)を導入する。
我々の重要な革新は、本質的に安定な2階最適化フレームワークであり、不条件のパラメータ更新問題を小さく、よく設定されたHermitian固有値問題に再キャストする。
我々は、IRLにより、浅いNQSが3から5の最適化ステップで極度の精度(1e-12 kcal/mol)を連続的に達成できることを実証した。
F2分子の場合、これはアダムと比較して、全実行時の約17,900倍のスピードアップに変換される。
- 参考スコア（独自算出の注目度）: 4.039934762896615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The variational optimization of high-dimensional neural network models, such as those used in neural quantum states (NQS), presents a significant challenge in machine intelligence. Conventional first-order stochastic methods (e.g., Adam) are plagued by slow convergence, sensitivity to hyperparameters, and numerical instability, preventing NQS from reaching the high accuracy required for fundamental science. We address this fundamental optimization bottleneck by introducing the implicitly restarted Lanczos (IRL) method as the core engine for NQS training. Our key innovation is an inherently stable second-order optimization framework that recasts the ill-conditioned parameter update problem into a small, well-posed Hermitian eigenvalue problem. By solving this problem efficiently and robustly with IRL, our approach automatically determines the optimal descent direction and step size, circumventing the need for demanding hyperparameter tuning and eliminating the numerical instabilities common in standard iterative solvers. We demonstrate that IRL enables shallow NQS architectures (with orders of magnitude fewer parameters) to consistently achieve extreme precision (1e-12 kcal/mol) in just 3 to 5 optimization steps. For the F2 molecule, this translates to an approximate 17,900-fold speed-up in total runtime compared to Adam. This work establishes IRL as a superior, robust, and efficient second-order optimization strategy for variational quantum models, paving the way for the practical, high-fidelity application of neural networks in quantum physics and chemistry.
- Abstract（参考訳）: ニューラル量子状態(NQS)で使用されるような高次元ニューラルネットワークモデルの変分最適化は、マシンインテリジェンスにおいて大きな課題となる。
従来の一階確率法(例えばAdam)は、収束が遅く、ハイパーパラメータに敏感であり、数値的な不安定さに悩まされており、NQSが基礎科学に必要な高い精度に達するのを妨げている。
NQSトレーニングのコアエンジンとして暗黙的に再起動したLanczos(IRL)法を導入することで、この基本的な最適化ボトルネックに対処する。
我々の重要な革新は、本質的に安定な2階最適化フレームワークであり、不条件のパラメータ更新問題を小さく、よく設定されたHermitian固有値問題に再キャストする。
この問題をIRLで効率的かつ堅牢に解くことにより,提案手法は最適降下方向とステップサイズを自動決定し,ハイパーパラメータチューニングの要求を回避し,標準反復解法に共通する数値不安定性を解消する。
IRLは3から5の最適化ステップで(パラメータの桁数を桁違いに減らした)極端精度(1e-12 kcal/mol)を連続的に達成できることを実証する。
F2分子の場合、これはアダムと比較して、全実行時の約17,900倍のスピードアップに変換される。
この研究は、変動量子モデルに対する優れた、堅牢で効率的な2階最適化戦略としてIRLを確立し、量子物理学と化学におけるニューラルネットワークの実用的で高忠実な応用の道を開いた。
関連論文リスト
- MAD-NG: Meta-Auto-Decoder Neural Galerkin Method for Solving Parametric Partial Differential Equations [5.767740428776141]
パラメトリック偏微分方程式(PDE)は、幅広い物理・工学系をモデル化するための基礎である。
物理情報ニューラルネットワーク(PINN)やDeep Galerkin Methodsのような従来のニューラルネットワークベースの解法は、一般化と長期予測効率においてしばしば課題に直面している。
本稿では,メタオートデコーダ(MAD)パラダイムを取り入れることで,NGM(Neural Galerkin Method)を大幅に拡張する,新しいスケーラブルなフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-25T11:27:40Z) - Structure and asymptotic preserving deep neural surrogates for uncertainty quantification in multiscale kinetic equations [5.181697052513637]
パラメータを持つ運動方程式の高次元性は不確実性定量化(UQ)の計算課題を提起する
伝統的なモンテカルロサンプリング法は、空間の次元が大きくなるにつれて、緩やかな収束と高い分散に悩まされる。
ニューラルネットワークの構造と保存に基づくサロゲートモデル(SAPNN)を導入する。
SAPNNは、肯定性、保存法則、エントロピー散逸、パラメータ制限など、重要な物理特性を満たすように設計されている。
論文 参考訳（メタデータ） (2025-06-12T12:20:53Z) - Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。
SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。
したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
論文 参考訳（メタデータ） (2025-05-01T06:47:45Z) - Improved Optimization for the Neural-network Quantum States and Tests on the Chromium Dimer [11.985673663540688]
ニューラルネットワーク量子状態(NQS)は、かなり高度な波動関数アンザッツ研究を持っている。
この研究は、NQSを用いたVMC最適化の計算要求を減らすために、3つのアルゴリズム拡張を導入する。
論文 参考訳（メタデータ） (2024-04-14T15:07:57Z) - Scalable Imaginary Time Evolution with Neural Network Quantum States [0.0]
ニューラルネットワーク量子状態(NQS)としての量子波関数の表現は、多体量子系の基底状態を見つけるための強力な変分アンサッツを提供する。
我々は、計量テンソルの計算をバイパスするアプローチを導入し、代わりにユークリッド計量を用いた一階降下にのみ依存する。
我々は,NQSのエネルギーが減少するまで最適な時間ステップを決定し,目標を固定し,適応的に安定させる。
論文 参考訳（メタデータ） (2023-07-28T12:26:43Z) - A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。
これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。
本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳（メタデータ） (2023-02-20T19:36:52Z) - Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。
標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。
サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文 参考訳（メタデータ） (2022-10-12T06:49:16Z) - On Fast Simulation of Dynamical System with Neural Vector Enhanced
Numerical Solver [59.13397937903832]
ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。
NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。
様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
論文 参考訳（メタデータ） (2022-08-07T09:02:18Z) - Learning to Fit Morphable Models [12.469605679847085]
学習最適化の最近の進歩の上に構築し、古典的なレバンス・マルカルトアルゴリズムに触発された更新ルールを提案する。
本稿では,頭部装着装置による3次元体表面推定問題と2次元ランドマークによる顔の嵌合性に対するニューラルネットワークの有効性を示す。
論文 参考訳（メタデータ） (2021-11-29T18:59:53Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。