論文の概要: Gradient-estimator design overcomes trainability barriers in neural-network-based variational optimization

• arxiv url: http://arxiv.org/abs/2609.22342v1
• Date: Wed, 16 Sep 2026 22:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.321885
• Title: Gradient-estimator design overcomes trainability barriers in neural-network-based variational optimization
• Title（参考訳）: ニューラルネットワークに基づく変分最適化におけるトレーニング可能性障壁を克服する勾配推定器の設計
• Abstract要約: ニューラルネットワークの変分最適化のための適応最小分散位相 (AMVP) 推定器を導入する。 弱い勾配の信号と雑音の比を改善することで、これらの手法は、トレーニングが失敗した場合の信頼性の高い科学的計算を可能にし、計算コストを大幅に削減する。 これらの結果は、勾配推定器の設計が、正確な科学計算のためのニューラルネットワークの変分法の能力を拡大していることを示している。
• 参考スコア（独自算出の注目度）: 3.1413021865737765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks provide expressive representations for scientific computing. However, even sufficiently expressive networks can suffer training failure in weak-gradient regimes, limiting their practical use in quantum many-body physics and ab initio quantum chemistry. Here we derive an unbiased direct gradient estimator and introduce the adaptive minimum-variance phase (AMVP) estimator for neural-network variational optimization. By improving the signal-to-noise ratio of weak gradients, these methods enable reliable scientific calculations where training previously failed, while substantially reducing computational cost. The framework enables compact networks to outperform larger and fine-tuned default standard-estimator models with over an order of magnitude less GPU time on correlated flux models, and ultimately exceed the density matrix renormalization group (DMRG) accuracy. It further achieves chemical accuracy in N$_2$ bond breaking and, for the first time, in heavy-element I$_2$ with explicit spin-orbit coupling. These results demonstrate that gradient-estimator design expands the capabilities of neural-network variational methods for accurate scientific computing.
• Abstract（参考訳）: ニューラルネットワークは科学計算のための表現表現を提供する。 しかし、十分に表現力のあるネットワークでさえ、弱勾配な状態下でのトレーニングの失敗に悩まされ、量子多体物理学やアブイニシアト量子化学における実用的使用が制限される。 ここでは、バイアスのない直接勾配推定器を導出し、ニューラルネットワークの変動最適化のための適応最小分散位相(AMVP)推定器を導入する。 弱い勾配の信号と雑音の比を改善することで、これらの手法はトレーニングが失敗した場合の信頼性の高い科学的計算を可能にし、計算コストを大幅に削減する。 このフレームワークにより、コンパクトネットワークは、相関フラックスモデルにおいてGPU時間を桁違いに削減し、より大きく、微調整された標準推定モデルより優れ、最終的に密度行列再正規化グループ(DMRG)の精度を超えることができる。 さらに、N$2$結合の破壊や、スピン軌道結合が明示的な重い元素であるI$2$において、化学的精度が向上する。 これらの結果は、勾配推定器の設計が、正確な科学計算のためのニューラルネットワークの変分法の能力を拡大していることを示している。

関連論文リスト

• Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。 ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。 既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
  論文  参考訳（メタデータ） (2026-08-14T04:46:03Z)
• Convergence and Sketching-Based Efficient Computation of Neural Tangent Kernel Weights in Physics-Based Loss [0.0]
  適応的 NTK 重みによる勾配勾配の上昇は,適切な意味で収束することを示す。 次に,予測器-相関器アプローチと行列スケッチに着想を得たランダム化アルゴリズムを開発することにより,計算効率の問題に対処する。
  論文  参考訳（メタデータ） (2025-11-19T15:29:42Z)
• Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
  量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
  論文  参考訳（メタデータ） (2025-08-27T15:59:36Z)
• Adaptive Neural Quantum States: A Recurrent Neural Network Perspective [0.7234862895932991]
  ニューラルネットワーク量子状態(NQS)を最適化する適応スキームを示す。 NQSは、量子多体物理学を研究するための有望なツールとして登場した強力なニューラルネットワークアンゼである。
  論文  参考訳（メタデータ） (2025-07-24T18:00:03Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Jacobian-Enhanced Neural Networks [0.0]
  ヤコビアン強化ニューラルネットワーク(JENN)は密結合多層パーセプトロンである。 JENNの主な利点は、標準のニューラルネットワークに比べてトレーニングポイントが少なくて精度が良いことである。
  論文  参考訳（メタデータ） (2024-06-13T14:04:34Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。