論文の概要: Improving Energy Natural Gradient Descent through Woodbury, Momentum, and Randomization

• arxiv url: http://arxiv.org/abs/2505.12149v1
• Date: Sat, 17 May 2025 21:46:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.064666
• Title: Improving Energy Natural Gradient Descent through Woodbury, Momentum, and Randomization
• Title（参考訳）: ウッドベリー, モメンタム, ランダム化による自然発芽エネルギーの改善
• Authors: Andrés Guzmán-Cordero, Felix Dangel, Gil Goldshlager, Marius Zeinhofer,
• Abstract要約: PINNのエネルギー勾配降下の精度と効率を改善するための一連の技術を紹介する。 まず、Woodbury公式を利用して、ENGDの計算複雑性を劇的に低減する。 第2に,モンテカルロ変分法からサブサンプリング・プロジェクテッド・インクリメント・ナチュラルグラディエントDescentアルゴリズムを適用し,収束を加速する。 第3に、大規模なバッチサイズの場合の計算コストをさらに削減するために、ランダム化アルゴリズムの使用について検討する。
• 参考スコア（独自算出の注目度）: 1.974926864871559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural gradient methods significantly accelerate the training of Physics-Informed Neural Networks (PINNs), but are often prohibitively costly. We introduce a suite of techniques to improve the accuracy and efficiency of energy natural gradient descent (ENGD) for PINNs. First, we leverage the Woodbury formula to dramatically reduce the computational complexity of ENGD. Second, we adapt the Subsampled Projected-Increment Natural Gradient Descent algorithm from the variational Monte Carlo literature to accelerate the convergence. Third, we explore the use of randomized algorithms to further reduce the computational cost in the case of large batch sizes. We find that randomization accelerates progress in the early stages of training for low-dimensional problems, and we identify key barriers to attaining acceleration in other scenarios. Our numerical experiments demonstrate that our methods outperform previous approaches, achieving the same $L^2$ error as the original ENGD up to $75\times$ faster.
• Abstract（参考訳）: 自然勾配法は物理情報ニューラルネットワーク(PINN)の訓練を著しく加速するが、しばしば費用がかかる。 PINNのエネルギー自然勾配降下(ENGD)の精度と効率を改善するための一連の技術を紹介する。 まず、Woodbury公式を利用して、ENGDの計算複雑性を劇的に低減する。 第2に,モンテカルロ変分法からサブサンプリング・プロジェクテッド・インクリメント・ナチュラルグラディエントDescentアルゴリズムを適用し,収束を加速する。 第3に、大規模なバッチサイズの場合の計算コストをさらに削減するために、ランダム化アルゴリズムの使用について検討する。 ランダム化は低次元問題に対する訓練の初期段階において進行を加速し、他のシナリオにおいて加速を達成するための鍵となる障壁を特定する。 数値実験により,提案手法は従来の手法よりも優れており,従来のENGDと同等のL^2$エラーを75\times$高速化することを示した。

関連論文リスト

• Inverse-Free Fast Natural Gradient Descent Method for Deep Learning [52.0693420699086]
  本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。 FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
  論文  参考訳（メタデータ） (2024-03-06T05:13:28Z)
• Achieving High Accuracy with PINNs via Energy Natural Gradients [0.0]
  エネルギー自然勾配から生じる関数空間の更新方向は、モデルの接空間への射影をニュートン方向変調する。 エネルギー自然勾配降下法は,標準勾配降下法あるいはアダム法を用いてPINNを訓練する際に得られるものよりも数桁小さい誤差で高精度な解が得られることを示した。
  論文  参考訳（メタデータ） (2023-02-25T21:17:19Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models [134.83964935755964]
  ディープラーニングでは、異なる種類のディープネットワークは典型的に異なる補間を必要とし、複数のトライアル後に選択する必要がある。 本稿では,この問題を解消し,モデルトレーニング速度を継続的に改善するために,ADAtive Nesterov運動量変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-13T16:04:39Z)
• Efficient Neural Network Training via Forward and Backward Propagation Sparsification [26.301103403328312]
  本研究では, 完全スパース前方・後方パスを用いた効率的なスパーストレーニング手法を提案する。 私たちのアルゴリズムは、トレーニングプロセスを最大で桁違いに高速化する上で、はるかに効果的です。
  論文  参考訳（メタデータ） (2021-11-10T13:49:47Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs [25.158203665218164]
  適応勾配法は有限時間後にランダムシャッフルSGDよりも高速であることを示す。 我々の知る限り、適応的勾配法は有限時間後にSGDよりも高速であることを示すのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-06-12T09:39:47Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。