論文の概要: Randomized Sparse Neural Galerkin Schemes for Solving Evolution
Equations with Deep Networks
- arxiv url: http://arxiv.org/abs/2310.04867v1
- Date: Sat, 7 Oct 2023 16:27:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 14:57:07.326041
- Title: Randomized Sparse Neural Galerkin Schemes for Solving Evolution
Equations with Deep Networks
- Title(参考訳): ディープネットワークを用いた進化方程式解のためのランダム化スパースニューラルネットワークガレルキンスキーム
- Authors: Jules Berman, Benjamin Peherstorfer
- Abstract要約: この研究は、各タイムステップでネットワークパラメータのランダム化されたスパースサブセットを更新するNeural Galerkinスキームを導入している。
ランダム化は、時間内の局所的な過度な適合を避けるため、シーケンシャル・イン・タイムのトレーニングでエラーが迅速に蓄積されるのを防ぐ。
幅広い進化方程式を用いた数値実験では、ランダム化されたスパース更新を用いた提案手法は、固定された計算予算において最大で2桁精度が高い。
- 参考スコア(独自算出の注目度): 1.5281057386824812
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Training neural networks sequentially in time to approximate solution fields
of time-dependent partial differential equations can be beneficial for
preserving causality and other physics properties; however, the
sequential-in-time training is numerically challenging because training errors
quickly accumulate and amplify over time. This work introduces Neural Galerkin
schemes that update randomized sparse subsets of network parameters at each
time step. The randomization avoids overfitting locally in time and so helps
prevent the error from accumulating quickly over the sequential-in-time
training, which is motivated by dropout that addresses a similar issue of
overfitting due to neuron co-adaptation. The sparsity of the update reduces the
computational costs of training without losing expressiveness because many of
the network parameters are redundant locally at each time step. In numerical
experiments with a wide range of evolution equations, the proposed scheme with
randomized sparse updates is up to two orders of magnitude more accurate at a
fixed computational budget and up to two orders of magnitude faster at a fixed
accuracy than schemes with dense updates.
- Abstract(参考訳): 時間依存偏微分方程式の近似解場に順番にニューラルネットワークを訓練することは因果性やその他の物理学的性質を保存するのに有用であるが、トレーニングエラーが時間とともに蓄積し増幅するので、逐次インタイムトレーニングは数値的に困難である。
この研究は、各タイムステップでネットワークパラメータのランダム化されたスパースサブセットを更新するNeural Galerkinスキームを導入している。
ランダム化は、時間内に局所的に過剰フィッティングを回避し、ニューロンの共適応によるオーバーフィッティングの問題に対処するドロップアウトによって動機付けられたシーケンシャルインタイムトレーニングにおいて、エラーが迅速に蓄積することを防ぐのに役立つ。
更新の間隔は、ネットワークパラメータの多くが各タイムステップでローカルに冗長であるため、表現力を失うことなく、トレーニングの計算コストを削減する。
広範囲の進化方程式を用いた数値実験では、ランダム化されたスパース更新のスキームは、固定された計算予算において最大2桁精度が最大2桁、高密度な更新のスキームよりも最大2桁高速である。
関連論文リスト
- RefreshNet: Learning Multiscale Dynamics through Hierarchical Refreshing [0.0]
RefreshNetの"リフレッシュ"メカニズムは、粗いブロックがより細かいブロックの入力をリセットし、エラーの蓄積を効果的に制御し緩和することを可能にする。
RefreshNetの"リフレッシュ"メカニズムは、粗いブロックがより細かいブロックの入力をリセットし、エラーの蓄積を効果的に制御し緩和することを可能にする。
論文 参考訳(メタデータ) (2024-01-24T07:47:01Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - Time-Parameterized Convolutional Neural Networks for Irregularly Sampled
Time Series [26.77596449192451]
不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。
標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。
時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
論文 参考訳(メタデータ) (2023-08-06T21:10:30Z) - Time Regularization in Optimal Time Variable Learning [0.4490343701046724]
近年、arXiv:2204.08528では、ディープニューラルネットワーク(DNN)における最適時変学習が導入されている。
離散力学系における時間的地平線に直接関係する正規化項を導入することにより、この概念を拡張する。
本稿では,Residual Neural Networks(ResNets)に対する適応型プルーニング手法を提案する。
提案した概念を、よく知られたMNISTとFashion MNISTデータセットの分類タスクに適用することによって、その結果が示される。
論文 参考訳(メタデータ) (2023-06-28T11:27:48Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Oscillatory Fourier Neural Network: A Compact and Efficient Architecture
for Sequential Processing [16.69710555668727]
本稿では,コサイン活性化と時系列処理のための時間変化成分を有する新しいニューロンモデルを提案する。
提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。
IMDBデータセットの感情分析に提案されたモデルを適用すると、5時間以内のテスト精度は89.4%に達する。
論文 参考訳(メタデータ) (2021-09-14T19:08:07Z) - What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。
我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文 参考訳(メタデータ) (2021-06-08T08:58:00Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳(メタデータ) (2021-03-01T03:10:11Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳(メタデータ) (2021-02-23T18:17:47Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳(メタデータ) (2020-08-28T04:29:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。