論文の概要: Achieving Online Regression Performance of LSTMs with Simple RNNs
- arxiv url: http://arxiv.org/abs/2005.08948v2
- Date: Mon, 31 May 2021 15:22:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 12:57:09.909196
- Title: Achieving Online Regression Performance of LSTMs with Simple RNNs
- Title（参考訳）: シンプルなRNNによるLSTMのオンライン回帰性能の実現
- Authors: N. Mert Vural, Fatih Ilhan, Selim F. Yilmaz, Salih Erg\"ut and
Suleyman S. Kozat
- Abstract要約: 本稿では,パラメータ数に線形時間を要する1次学習アルゴリズムを提案する。
SRNNが我々のアルゴリズムでトレーニングされている場合、LSTMと非常によく似た回帰性能を2～3倍の短いトレーニング時間で提供することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent Neural Networks (RNNs) are widely used for online regression due to
their ability to generalize nonlinear temporal dependencies. As an RNN model,
Long-Short-Term-Memory Networks (LSTMs) are commonly preferred in practice, as
these networks are capable of learning long-term dependencies while avoiding
the vanishing gradient problem. However, due to their large number of
parameters, training LSTMs requires considerably longer training time compared
to simple RNNs (SRNNs). In this paper, we achieve the online regression
performance of LSTMs with SRNNs efficiently. To this end, we introduce a
first-order training algorithm with a linear time complexity in the number of
parameters. We show that when SRNNs are trained with our algorithm, they
provide very similar regression performance with the LSTMs in two to three
times shorter training time. We provide strong theoretical analysis to support
our experimental results by providing regret bounds on the convergence rate of
our algorithm. Through an extensive set of experiments, we verify our
theoretical work and demonstrate significant performance improvements of our
algorithm with respect to LSTMs and the other state-of-the-art learning models.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、非線形時間依存を一般化する能力のため、オンライン回帰に広く利用されている。
RNNモデルとしては、長期記憶ネットワーク(LSTM)が一般的に好まれている。
しかし、多くのパラメータのため、LSTMのトレーニングには単純なRNN(SRNN)に比べてかなり長いトレーニング時間が必要である。
本稿では,SRNN を用いた LSTM のオンライン回帰性能を効率よく達成する。
そこで本研究では,パラメータ数に線形時間複雑性を持つ一階学習アルゴリズムを提案する。
SRNNが我々のアルゴリズムでトレーニングされている場合、LSTMと非常によく似た回帰性能を2～3倍の短いトレーニング時間で提供することを示す。
我々は, アルゴリズムの収束率に反し, 実験結果を支持するために, 強い理論的解析を行う。
広範囲にわたる実験を通じて,我々の理論的研究を検証するとともに,LSTMや他の最先端学習モデルに対するアルゴリズムの性能向上を実証する。
関連論文リスト
- Were RNNs All We Needed? [53.393497486332]
従来のリカレントニューラルネットワーク(RNN)を10年以上前から再検討しています。
入力から隠れた状態依存を取り除くことで、LSTMやGRUはBPTTを必要とせず、並列で効率的に訓練できることを示す。
論文 参考訳（メタデータ） (2024-10-02T03:06:49Z) - Resurrecting Recurrent Neural Networks for Long Sequences [45.800920421868625]
リカレントニューラルネットワーク(RNN)は、長いシーケンスに対する高速な推論を提供するが、最適化が難しく、訓練が遅い。
深部状態空間モデル(SSM)は、最近、長いシーケンスモデリングタスクにおいて非常によく機能することが示されている。
本稿では,信号伝搬の標準的な引数を用いた深部RNNの設計により,長距離推論タスクにおける深部SSMの性能を回復できることを示す。
論文 参考訳（メタデータ） (2023-03-11T08:53:11Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - An Improved Time Feedforward Connections Recurrent Neural Networks [3.0965505512285967]
リカレントニューラルネットワーク(RNN)は洪水予測や財務データ処理といった時間的問題に広く応用されている。
従来のRNNモデルは、厳密な時系列依存性のために勾配問題を増幅する。
勾配問題に対処するために、改良された時間フィードフォワード接続リカレントニューラルネットワーク(TFC-RNN)モデルが最初に提案された。
単一ゲートリカレントユニット(Single Gate Recurrent Unit, SGRU)と呼ばれる新しい細胞構造が提示され、RNNセルのパラメータ数が減少した。
論文 参考訳（メタデータ） (2022-11-03T09:32:39Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - A Comparative Study of Detecting Anomalies in Time Series Data Using
LSTM and TCN Models [2.007262412327553]
本稿では,2つの著名なディープラーニングモデリング手法を比較した。
Recurrent Neural Network (RNN)-based Long Short-Term Memory (LSTM) と Convolutional Neural Network (CNN)-based Temporal Convolutional Networks (TCN) を比較した。
論文 参考訳（メタデータ） (2021-12-17T02:46:55Z) - Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural
Networks [5.986408771459261]
生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。
ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。
RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。
逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
論文 参考訳（メタデータ） (2021-10-06T15:51:38Z) - Parallelizing Legendre Memory Unit Training [5.076419064097734]
新しいリカレントニューラルネットワーク(RNN)であるLegendre Memory Unit(LMU)が提案され、いくつかのベンチマークデータセットで最先端のパフォーマンスを実現することが示されている。
ここでは、LMUの線形時間不変(LTI)メモリコンポーネントを活用して、トレーニング中に並列化可能な簡易な変種を構築する。
並列化を支援するこの変換は、リカレントコンポーネントが線形であるディープネットワークに一般的に適用できるため、最大200倍の高速なトレーニングを実現する。
論文 参考訳（メタデータ） (2021-02-22T23:43:47Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳（メタデータ） (2020-06-22T10:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。