論文の概要: Retentive Neural Quantum States: Efficient Ansätze for Ab Initio Quantum Chemistry

• arxiv url: http://arxiv.org/abs/2411.03900v1
• Date: Wed, 06 Nov 2024 13:24:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:00.505420
• Title: Retentive Neural Quantum States: Efficient Ansätze for Ab Initio Quantum Chemistry
• Title（参考訳）: 相対神経量子状態:Ab initio量子化学の効率的なアンセッツェ
• Authors: Oliver Knitter, Dan Zhao, James Stokes, Martin Ganahl, Stefan Leichenauer, Shravan Veerapaneni,
• Abstract要約: 本稿では,量子化学における電子基底状態問題の解法として,RetNet(retentive Network)の応用について検討する。 RetNetは、トレーニング中にデータを並列に処理し、推論中に繰り返し処理することで、この時間の複雑さのボトルネックを克服していることを示す。
• 参考スコア（独自算出の注目度）: 10.423935999935315
• License:
• Abstract: Neural-network quantum states (NQS) has emerged as a powerful application of quantum-inspired deep learning for variational Monte Carlo methods, offering a competitive alternative to existing techniques for identifying ground states of quantum problems. A significant advancement toward improving the practical scalability of NQS has been the incorporation of autoregressive models, most recently transformers, as variational ansatze. Transformers learn sequence information with greater expressiveness than recurrent models, but at the cost of increased time complexity with respect to sequence length. We explore the use of the retentive network (RetNet), a recurrent alternative to transformers, as an ansatz for solving electronic ground state problems in $\textit{ab initio}$ quantum chemistry. Unlike transformers, RetNets overcome this time complexity bottleneck by processing data in parallel during training, and recurrently during inference. We give a simple computational cost estimate of the RetNet and directly compare it with similar estimates for transformers, establishing a clear threshold ratio of problem-to-model size past which the RetNet's time complexity outperforms that of the transformer. Though this efficiency can comes at the expense of decreased expressiveness relative to the transformer, we overcome this gap through training strategies that leverage the autoregressive structure of the model -- namely, variational neural annealing. Our findings support the RetNet as a means of improving the time complexity of NQS without sacrificing accuracy. We provide further evidence that the ablative improvements of neural annealing extend beyond the RetNet architecture, suggesting it would serve as an effective general training strategy for autoregressive NQS.
• Abstract（参考訳）: ニューラル・ネットワーク量子状態(NQS)は、変分モンテカルロ法に対する量子にインスパイアされたディープラーニングの強力な応用として登場し、量子問題の基底状態を特定する既存の技術と競合する代替手段を提供する。 NQSの実用的スケーラビリティ向上に向けた大きな進歩は、自動回帰モデル(最近では変圧器)を変圧器として組み込むことである。 トランスフォーマーは、繰り返しモデルよりも表現力の高いシーケンス情報を学習するが、シーケンス長に対する時間的複雑さが増大する。 本稿では, 量子化学における電子状態問題の解法として, 変圧器のリカレントな代替であるretentive network (RetNet) の利用について検討する。 トランスフォーマーとは異なり、RetNetはトレーニング中にデータを並列に処理し、推論中に繰り返し処理することで、この時間の複雑さのボトルネックを克服する。 本稿では,RetNet の計算コストを簡易に算出し,変換器の計算コストを類似した推定値と直接比較し,RetNet の時間複雑性が変換器よりも優れる問題とモデルの大きさの明確なしきい値比を確立する。 この効率性は、変換器と比較して表現力の低下を犠牲にすることができるが、モデルの自己回帰構造、すなわち変動性ニューラルアニールを活用するトレーニング戦略を通じて、このギャップを克服する。 本研究は,NQSの時間的複雑さを精度を犠牲にすることなく改善する手段として,RetNetを支持した。 さらに, 自己回帰NQSの効果的な総合的トレーニング戦略として有効であることを示すため, RetNetアーキテクチャを超えて, 神経アニールのアブレーション改善が拡張されることが示唆された。

関連論文リスト

• QIANets: Quantum-Integrated Adaptive Networks for Reduced Latency and Improved Inference Times in CNN Models [2.6663666678221376]
  畳み込みニューラルネットワーク(CNN)はコンピュータビジョンタスクにおいて大きな進歩を遂げているが、その高い推論時間とレイテンシは現実の応用性を制限している。 従来のGoogLeNet、DenseNet、ResNet-18モデルアーキテクチャを再設計する新しいアプローチであるQIANetを紹介します。 実験の限界にもかかわらず, 提案手法を検証, 評価し, 推論時間の短縮を実証し, 有効精度の保存を行った。
  論文  参考訳（メタデータ） (2024-10-14T09:24:48Z)
• Autoregressive + Chain of Thought = Recurrent: Recurrence's Role in Language Models' Computability and a Revisit of Recurrent Transformer [29.970200877158764]
  ニューラルモデルにおけるリカレント構造が推論能力と計算可能性に与える影響について検討する。 我々は、CoTアプローチが繰り返し計算を模倣し、自己回帰と再発の間のブリッジとして機能する方法について光を当てた。
  論文  参考訳（メタデータ） (2024-09-14T00:30:57Z)
• Learning to Program Variational Quantum Circuits with Fast Weights [3.6881738506505988]
  本稿では,時間的あるいはシーケンシャルな学習課題に対する解決法として,QFWP(Quantum Fast Weight Programmers)を提案する。 提案したQFWPモデルは、量子リカレントニューラルネットワークの使用を必要とせずに、時間的依存関係の学習を実現する。 本研究では, 時系列予測とRLタスクにおいて, 提案したQFWPモデルの有効性を示す数値シミュレーションを行った。
  論文  参考訳（メタデータ） (2024-02-27T18:53:18Z)
• Towards Next-Level Post-Training Quantization of Hyper-Scale Transformers [10.566264033360282]
  ポストトレーニング量子化(PTQ)は、モバイルやテレビなどのエッジデバイスにハイパースケールモデルをデプロイするための有望なソリューションとして登場した。 本稿では,精度と効率のバランスをとる新しいPTQアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T05:58:43Z)
• Split-Boost Neural Networks [1.1549572298362787]
  本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。 このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。 提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
  論文  参考訳（メタデータ） (2023-09-06T17:08:57Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Optimizing Tensor Network Contraction Using Reinforcement Learning [86.05566365115729]
  本稿では,グラフニューラルネットワーク(GNN)と組み合わせた強化学習(RL)手法を提案する。 この問題は、巨大な検索スペース、重い尾の報酬分布、そして困難なクレジット割り当てのために非常に難しい。 GNNを基本方針として利用するRLエージェントが,これらの課題にどのように対処できるかを示す。
  論文  参考訳（メタデータ） (2022-04-18T21:45:13Z)
• Simulating the Mott transition on a noisy digital quantum computer via Cartan-based fast-forwarding circuits [62.73367618671969]
  動的平均場理論(DMFT)は、ハバードモデルの局所グリーン関数をアンダーソン不純物のモデルにマッピングする。 不純物モデルを効率的に解くために、量子およびハイブリッド量子古典アルゴリズムが提案されている。 この研究は、ノイズの多いデジタル量子ハードウェアを用いたMott相転移の最初の計算を提示する。
  論文  参考訳（メタデータ） (2021-12-10T17:32:15Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。