論文の概要: Accelerating Training in Artificial Neural Networks with Dynamic Mode Decomposition

• arxiv url: http://arxiv.org/abs/2006.14371v1
• Date: Thu, 18 Jun 2020 22:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 14:39:38.944589
• Title: Accelerating Training in Artificial Neural Networks with Dynamic Mode Decomposition
• Title（参考訳）: 動的モード分解によるニューラルネットワークの高速化訓練
• Authors: Mauricio E. Tano, Gavin D. Portwood, Jean C. Ragusa
• Abstract要約: 本稿では,各重みにおける更新ルールの評価を分離する手法を提案する。 各DMDモデル推定に使用するバックプロパゲーションステップ数を微調整することにより、ニューラルネットワークのトレーニングに必要な操作数を大幅に削減することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training of deep neural networks (DNNs) frequently involves optimizing several millions or even billions of parameters. Even with modern computing architectures, the computational expense of DNN training can inhibit, for instance, network architecture design optimization, hyper-parameter studies, and integration into scientific research cycles. The key factor limiting performance is that both the feed-forward evaluation and the back-propagation rule are needed for each weight during optimization in the update rule. In this work, we propose a method to decouple the evaluation of the update rule at each weight. At first, Proper Orthogonal Decomposition (POD) is used to identify a current estimate of the principal directions of evolution of weights per layer during training based on the evolution observed with a few backpropagation steps. Then, Dynamic Mode Decomposition (DMD) is used to learn the dynamics of the evolution of the weights in each layer according to these principal directions. The DMD model is used to evaluate an approximate converged state when training the ANN. Afterward, some number of backpropagation steps are performed, starting from the DMD estimates, leading to an update to the principal directions and DMD model. This iterative process is repeated until convergence. By fine-tuning the number of backpropagation steps used for each DMD model estimation, a significant reduction in the number of operations required to train the neural networks can be achieved. In this paper, the DMD acceleration method will be explained in detail, along with the theoretical justification for the acceleration provided by DMD. This method is illustrated using a regression problem of key interest for the scientific machine learning community: the prediction of a pollutant concentration field in a diffusion, advection, reaction problem.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)のトレーニングでは、数百万から数十億のパラメータを最適化することが多い。 現代のコンピューティングアーキテクチャでさえ、DNNトレーニングの計算コストは、例えばネットワークアーキテクチャ設計の最適化、ハイパーパラメータ研究、科学研究サイクルへの統合を阻害することができる。 主な要因は、更新ルールの最適化中に各重みに対してフィードフォワード評価とバックプロパゲーションルールの両方が必要であることである。 本研究では,各重みによる更新ルールの評価を分離する手法を提案する。 当初、適切な直交分解(POD)は、いくつかのバックプロパゲーションステップで観察された進化に基づいて、トレーニング中の層ごとの重量の進化の主方向の現在の推定値を特定するために用いられる。 次に、動的モード分解(DMD)を用いて、これらの主方向に従って各層における重みの進化のダイナミクスを学習する。 DMDモデルは、ANNを訓練する際の近似収束状態を評価するために使用される。 その後、dmd推定から始め、いくつかのバックプロパゲーションステップが実行され、主要な方向とdmdモデルが更新される。 この反復過程は収束するまで繰り返される。 各DMDモデル推定に使用するバックプロパゲーションステップ数を微調整することにより、ニューラルネットワークのトレーニングに必要な操作数を大幅に削減することができる。 本稿では,dmdによる加速度の理論的正当化とともに,dmd加速度法の詳細を述べる。 本手法は, 拡散, アドベクション, 反応問題における汚染物質濃度場の予測という, 科学的機械学習コミュニティにおける重要な関心の回帰問題を用いて示される。

関連論文リスト

• Analyzing and Improving the Training Dynamics of Diffusion Models [36.37845647984578]
  一般的なADM拡散モデルアーキテクチャにおいて、不均一かつ非効率なトレーニングの原因をいくつか特定し、修正する。 この哲学の体系的な応用は、観測されたドリフトと不均衡を排除し、同じ計算複雑性でネットワークをかなり良くする。
  論文  参考訳（メタデータ） (2023-12-05T11:55:47Z)
• Dynamic Tensor Decomposition via Neural Diffusion-Reaction Processes [24.723536390322582]
  テンソル分解は マルチウェイデータ解析の 重要なツールです 動的EMbedIngs fOr Dynamic Algorithm dEcomposition (DEMOTE)を提案する。 シミュレーション研究と実世界の応用の両方において,本手法の利点を示す。
  論文  参考訳（メタデータ） (2023-10-30T15:49:45Z)
• Score dynamics: scaling molecular dynamics with picoseconds timestep via conditional diffusion model [5.39025059364831]
  分子動力学シミュレーションから大きな時間ステップを持つ加速進化演算子を学習するためのフレームワークであるスコアダイナミクス(SD)を提案する。 我々は10psの時間ステップで進化した現実的な分子系のグラフニューラルネットワークに基づくスコアダイナミクスモデルを構築した。 現在のSD実装は,本研究で研究したシステムに対して,MDよりも約2桁高速である。
  論文  参考訳（メタデータ） (2023-10-02T22:29:45Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
  反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。 自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。 時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
  論文  参考訳（メタデータ） (2023-01-24T08:39:20Z)
• Forecasting through deep learning and modal decomposition in two-phase concentric jets [2.362412515574206]
  本研究はターボファンエンジンにおける燃料室噴射器の性能向上を目的としている。 燃料/空気混合物のリアルタイム予測と改善を可能にするモデルの開発が必要である。
  論文  参考訳（メタデータ） (2022-12-24T12:59:41Z)
• Coupled and Uncoupled Dynamic Mode Decomposition in Multi-Compartmental Systems with Applications to Epidemiological and Additive Manufacturing Problems [58.720142291102135]
  非線形問題に適用した場合,動的分解(DMD)は強力なツールである可能性が示唆された。 特に,Covid-19に対する連続遅延SIRDモデルに対する興味深い数値的応用を示す。
  論文  参考訳（メタデータ） (2021-10-12T21:42:14Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Decadal Forecasts with ResDMD: a Residual DMD Neural Network [0.0]
  運用予測センターは、より気候に耐性のある社会のための長期的な意思決定を支援するために、デカダル(1-10年)予測システムに投資している。 以前は動的モード分解 (Dynamic Mode Decomposition, DMD) アルゴリズムが用いられていた。 本稿では,非線形項をニューラルネットワークとして明示的に表現するDMDの拡張について検討する。
  論文  参考訳（メタデータ） (2021-06-21T13:49:43Z)
• Dynamic Mode Decomposition in Adaptive Mesh Refinement and Coarsening Simulations [58.720142291102135]
  動的モード分解(DMD)はコヒーレントなスキームを抽出する強力なデータ駆動方式である。 本稿では,異なるメッシュトポロジと次元の観測からDMDを抽出する戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-28T22:14:25Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。