論文の概要: Averaged Adam accelerates stochastic optimization in the training of deep neural network approximations for partial differential equation and optimal control problems

• arxiv url: http://arxiv.org/abs/2501.06081v1
• Date: Fri, 10 Jan 2025 16:15:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:26:04.375288
• Title: Averaged Adam accelerates stochastic optimization in the training of deep neural network approximations for partial differential equation and optimal control problems
• Title（参考訳）: Averaged Adamは偏微分方程式と最適制御問題に対するディープニューラルネットワーク近似のトレーニングにおいて確率最適化を加速する
• Authors: Steffen Dereich, Arnulf Jentzen, Adrian Riekert,
• Abstract要約: この研究は古典的なPolyak-Ruppert平均化アプローチにインスパイアされている。 本研究では,Adam法の平均変種をディープラーニングネットワーク(DNN)の学習に適用する。 それぞれの数値例では、採用される平均変種Adamは標準Adamと標準SGDよりも優れている。
• 参考スコア（独自算出の注目度）: 5.052293146674794
• License:
• Abstract: Deep learning methods - usually consisting of a class of deep neural networks (DNNs) trained by a stochastic gradient descent (SGD) optimization method - are nowadays omnipresent in data-driven learning problems as well as in scientific computing tasks such as optimal control (OC) and partial differential equation (PDE) problems. In practically relevant learning tasks, often not the plain-vanilla standard SGD optimization method is employed to train the considered class of DNNs but instead more sophisticated adaptive and accelerated variants of the standard SGD method such as the popular Adam optimizer are used. Inspired by the classical Polyak-Ruppert averaging approach, in this work we apply averaged variants of the Adam optimizer to train DNNs to approximately solve exemplary scientific computing problems in the form of PDEs and OC problems. We test the averaged variants of Adam in a series of learning problems including physics-informed neural network (PINN), deep backward stochastic differential equation (deep BSDE), and deep Kolmogorov approximations for PDEs (such as heat, Black-Scholes, Burgers, and Allen-Cahn PDEs), including DNN approximations for OC problems, and including DNN approximations for image classification problems (ResNet for CIFAR-10). In each of the numerical examples the employed averaged variants of Adam outperform the standard Adam and the standard SGD optimizers, particularly, in the situation of the scientific machine learning problems. The Python source codes for the numerical experiments associated to this work can be found on GitHub at https://github.com/deeplearningmethods/averaged-adam.
• Abstract（参考訳）: ディープラーニング法(Deep Learning method) - 通常、確率勾配降下法(SGD)最適化法で訓練されたディープニューラルネットワーク(DNN)のクラスで構成されている - は、現在、データ駆動学習問題だけでなく、最適制御(OC)や偏微分方程式(PDE)問題といった科学計算タスクにおいても一様である。 実際に関係のある学習タスクでは、DNNのクラスを訓練するために普通の標準SGD最適化法ではなく、Adam Optimizationrのような標準SGD法のより洗練された適応および高速化された変種を用いることが多い。 古典的なPolyak-Ruppert平均化アプローチにインスパイアされた本研究では、Adamオプティマイザの平均変種を適用してDNNを訓練し、PDEやOC問題の形で、模範的な科学計算問題を概ね解決する。 我々は、物理情報ニューラルネットワーク(PINN)、深部後方確率微分方程式(deep BSDE)、PDEに対する深いコルモゴロフ近似(熱、ブラックショール、バーガース、アレンカーンPDE)、OC問題に対するDNN近似、画像分類問題に対するDNN近似(CIFAR-10のResNet)を含む一連の学習問題において、Adamの平均的な変種を検証した。 数値的な例のそれぞれにおいて、Adamの平均的な変種は標準的なAdamと標準SGDオプティマイザ、特に科学的な機械学習問題の状況において、より優れている。 この研究に関連する数値実験のためのPythonソースコードは、GitHubのhttps://github.com/deeplearningmethods/averaged-adamにある。

関連論文リスト

• DiffGrad for Physics-Informed Neural Networks [0.0]
  バーガーズ方程式(英: Burgers' equation)は流体力学の基本方程式であり、PINNで広く用いられている。 本稿では,DiffGradをPINNに組み込むことで,バーガースの方程式を解く新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T04:39:35Z)
• Non-convergence of Adam and other adaptive stochastic gradient descent optimization methods for non-vanishing learning rates [3.6185342807265415]
  ディープラーニングアルゴリズムは多くの人工知能(AI)システムにおいて重要な要素である。 ディープラーニングアルゴリズムは通常、勾配降下(SGD)最適化法によって訓練されたディープニューラルネットワークのクラスで構成されている。
  論文  参考訳（メタデータ） (2024-07-11T00:10:35Z)
• Improving the Adaptive Moment Estimation (ADAM) stochastic optimizer through an Implicit-Explicit (IMEX) time-stepping approach [1.2233362977312945]
  古典的アダムアルゴリズムは、基礎となるODEの1次暗黙的明示的(IMEX)離散化である。 我々は、高階IMEX法を用いてODEを解くAdamスキームの新たな拡張を提案する。 いくつかの回帰問題と分類問題において,従来のAdamよりも優れた性能を示すニューラルネットワークトレーニングのための新しい最適化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-03-20T16:08:27Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Research of Damped Newton Stochastic Gradient Descent Method for Neural Network Training [6.231508838034926]
  勾配降下(SGD)のような一階法は、最近ディープニューラルネットワーク(DNN)を訓練するための一般的な最適化方法です。 本稿では、平均二乗誤差(MSE)の回帰問題とクロスエントロピー損失(CEL)の分類問題に対するDNNの訓練方法として、DN-SGD(Damped Newton Descent)とGGD-DN(Gradient Descent Damped Newton)を提案する。 提案手法はパラメータのごく一部を正確に計算し,計算コストを大幅に削減し,sgdよりも高速かつ高精度な学習プロセスを実現する。
  論文  参考訳（メタデータ） (2021-03-31T02:07:18Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Train Like a (Var)Pro: Efficient Training of Neural Networks with Variable Projection [2.7561479348365734]
  ディープニューラルネットワーク(DNN)は、さまざまな従来の機械学習タスクで最先端のパフォーマンスを達成した。 本稿では,多くの最先端アプリケーションで発生するDNNのトレーニングについて考察する。
  論文  参考訳（メタデータ） (2020-07-26T16:29:39Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。