論文の概要: Randomized Sparse Neural Galerkin Schemes for Solving Evolution
Equations with Deep Networks
- arxiv url: http://arxiv.org/abs/2310.04867v1
- Date: Sat, 7 Oct 2023 16:27:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 14:57:07.326041
- Title: Randomized Sparse Neural Galerkin Schemes for Solving Evolution
Equations with Deep Networks
- Title（参考訳）: ディープネットワークを用いた進化方程式解のためのランダム化スパースニューラルネットワークガレルキンスキーム
- Authors: Jules Berman, Benjamin Peherstorfer
- Abstract要約: この研究は、各タイムステップでネットワークパラメータのランダム化されたスパースサブセットを更新するNeural Galerkinスキームを導入している。
ランダム化は、時間内の局所的な過度な適合を避けるため、シーケンシャル・イン・タイムのトレーニングでエラーが迅速に蓄積されるのを防ぐ。
幅広い進化方程式を用いた数値実験では、ランダム化されたスパース更新を用いた提案手法は、固定された計算予算において最大で2桁精度が高い。
- 参考スコア（独自算出の注目度）: 1.5281057386824812
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Training neural networks sequentially in time to approximate solution fields
of time-dependent partial differential equations can be beneficial for
preserving causality and other physics properties; however, the
sequential-in-time training is numerically challenging because training errors
quickly accumulate and amplify over time. This work introduces Neural Galerkin
schemes that update randomized sparse subsets of network parameters at each
time step. The randomization avoids overfitting locally in time and so helps
prevent the error from accumulating quickly over the sequential-in-time
training, which is motivated by dropout that addresses a similar issue of
overfitting due to neuron co-adaptation. The sparsity of the update reduces the
computational costs of training without losing expressiveness because many of
the network parameters are redundant locally at each time step. In numerical
experiments with a wide range of evolution equations, the proposed scheme with
randomized sparse updates is up to two orders of magnitude more accurate at a
fixed computational budget and up to two orders of magnitude faster at a fixed
accuracy than schemes with dense updates.
- Abstract（参考訳）: 時間依存偏微分方程式の近似解場に順番にニューラルネットワークを訓練することは因果性やその他の物理学的性質を保存するのに有用であるが、トレーニングエラーが時間とともに蓄積し増幅するので、逐次インタイムトレーニングは数値的に困難である。
この研究は、各タイムステップでネットワークパラメータのランダム化されたスパースサブセットを更新するNeural Galerkinスキームを導入している。
ランダム化は、時間内に局所的に過剰フィッティングを回避し、ニューロンの共適応によるオーバーフィッティングの問題に対処するドロップアウトによって動機付けられたシーケンシャルインタイムトレーニングにおいて、エラーが迅速に蓄積することを防ぐのに役立つ。
更新の間隔は、ネットワークパラメータの多くが各タイムステップでローカルに冗長であるため、表現力を失うことなく、トレーニングの計算コストを削減する。
広範囲の進化方程式を用いた数値実験では、ランダム化されたスパース更新のスキームは、固定された計算予算において最大2桁精度が最大2桁、高密度な更新のスキームよりも最大2桁高速である。
関連論文リスト
- Gradient-free training of recurrent neural networks [3.272216546040443]
本稿では,勾配に基づく手法を使わずに再帰型ニューラルネットワークの重みとバイアスを全て構成する計算手法を提案する。
このアプローチは、動的システムに対するランダムな特徴ネットワークとクープマン作用素理論の組み合わせに基づいている。
時系列の計算実験,カオス力学系の予測,制御問題などにおいて,構築したリカレントニューラルネットワークのトレーニング時間と予測精度が向上することが観察された。
論文 参考訳（メタデータ） (2024-10-30T21:24:34Z) - Temporal Convolution Derived Multi-Layered Reservoir Computing [5.261277318790788]
貯水池の状態空間への入力データの新たなマッピングを提案する。
ニューラルネットワークの並列化性,深さ,予測能力を向上する2つの新しいネットワークアーキテクチャにこの手法を組み込む。
カオス時系列では、Echo State Networksと比較して最大85.45%、Gated Recurrent Unitsと比較して90.72%のエラー削減が観察される。
論文 参考訳（メタデータ） (2024-07-09T11:40:46Z) - Time-Parameterized Convolutional Neural Networks for Irregularly Sampled
Time Series [26.77596449192451]
不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。
標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。
時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
論文 参考訳（メタデータ） (2023-08-06T21:10:30Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Oscillatory Fourier Neural Network: A Compact and Efficient Architecture
for Sequential Processing [16.69710555668727]
本稿では,コサイン活性化と時系列処理のための時間変化成分を有する新しいニューロンモデルを提案する。
提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。
IMDBデータセットの感情分析に提案されたモデルを適用すると、5時間以内のテスト精度は89.4%に達する。
論文 参考訳（メタデータ） (2021-09-14T19:08:07Z) - What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。
我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文 参考訳（メタデータ） (2021-06-08T08:58:00Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳（メタデータ） (2021-03-01T03:10:11Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳（メタデータ） (2021-02-23T18:17:47Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳（メタデータ） (2020-08-28T04:29:54Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。