論文の概要: An Improved Time Feedforward Connections Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2211.02561v1
- Date: Thu, 3 Nov 2022 09:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 15:50:06.764841
- Title: An Improved Time Feedforward Connections Recurrent Neural Networks
- Title（参考訳）: 時間フィードフォワード接続リカレントニューラルネットワークの改良
- Authors: Jin Wang, Yongsong Zou, Se-Jung Lim
- Abstract要約: リカレントニューラルネットワーク(RNN)は洪水予測や財務データ処理といった時間的問題に広く応用されている。
従来のRNNモデルは、厳密な時系列依存性のために勾配問題を増幅する。
勾配問題に対処するために、改良された時間フィードフォワード接続リカレントニューラルネットワーク(TFC-RNN)モデルが最初に提案された。
単一ゲートリカレントユニット(Single Gate Recurrent Unit, SGRU)と呼ばれる新しい細胞構造が提示され、RNNセルのパラメータ数が減少した。
- 参考スコア（独自算出の注目度）: 3.0965505512285967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent Neural Networks (RNNs) have been widely applied to deal with
temporal problems, such as flood forecasting and financial data processing. On
the one hand, traditional RNNs models amplify the gradient issue due to the
strict time serial dependency, making it difficult to realize a long-term
memory function. On the other hand, RNNs cells are highly complex, which will
significantly increase computational complexity and cause waste of
computational resources during model training. In this paper, an improved Time
Feedforward Connections Recurrent Neural Networks (TFC-RNNs) model was first
proposed to address the gradient issue. A parallel branch was introduced for
the hidden state at time t-2 to be directly transferred to time t without the
nonlinear transformation at time t-1. This is effective in improving the
long-term dependence of RNNs. Then, a novel cell structure named Single Gate
Recurrent Unit (SGRU) was presented. This cell structure can reduce the number
of parameters for RNNs cell, consequently reducing the computational
complexity. Next, applying SGRU to TFC-RNNs as a new TFC-SGRU model solves the
above two difficulties. Finally, the performance of our proposed TFC-SGRU was
verified through several experiments in terms of long-term memory and
anti-interference capabilities. Experimental results demonstrated that our
proposed TFC-SGRU model can capture helpful information with time step 1500 and
effectively filter out the noise. The TFC-SGRU model accuracy is better than
the LSTM and GRU models regarding language processing ability.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は洪水予測や財務データ処理といった時間的問題に広く応用されている。
一方、従来のRNNモデルは、厳密な時系列依存性のため勾配問題を増幅し、長期記憶機能を実現するのが困難である。
一方、RNNセルは非常に複雑であり、計算量を大幅に増加させ、モデルトレーニング中に計算資源の無駄を引き起こす。
本稿では,勾配問題に対処するために,tfc-rnns(time feedforward connections recurrent neural networks)モデルを提案する。
時間 t-2 の隠れた状態が時間 t-1 の非線形変換なしに時間 t へ直接転送されるように平行分岐が導入された。
これはRNNの長期依存を改善するのに有効である。
その後、Single Gate Recurrent Unit(SGRU)という新しい細胞構造が提示された。
このセル構造は、RNNセルのパラメータ数を減少させ、計算複雑性を減少させる。
次に、新しいTFC-SGRUモデルとしてSGRUをTFC-RNNに適用することにより、上記の2つの課題を解決する。
最後に,提案したTFC-SGRUの性能を,長期記憶と対干渉機能の観点から検証した。
実験の結果,提案したTFC-SGRUモデルでは,時間ステップ1500で有用な情報を捕捉し,効果的にノイズを除去できることがわかった。
TFC-SGRUモデルの精度は、言語処理能力に関するLSTMやGRUモデルよりも優れている。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Were RNNs All We Needed? [53.393497486332]
従来のリカレントニューラルネットワーク(RNN)を10年以上前から再検討しています。
入力から隠れた状態依存を取り除くことで、LSTMやGRUはBPTTを必要とせず、並列で効率的に訓練できることを示す。
論文 参考訳（メタデータ） (2024-10-02T03:06:49Z) - Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate [16.4160685571157]
リカレントニューラルネットワーク(RNN)は、時間的依存をモデル化する能力で広く認識されている。
本稿では、ゲートRNNのための新しい遅延メモリユニット(DMU)を提案する。
DMUは遅延線構造と遅延ゲートをバニラRNNに組み込み、時間的相互作用を高め、時間的信用割り当てを容易にする。
論文 参考訳（メタデータ） (2023-10-23T14:29:48Z) - Time-Parameterized Convolutional Neural Networks for Irregularly Sampled
Time Series [26.77596449192451]
不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。
標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。
時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
論文 参考訳（メタデータ） (2023-08-06T21:10:30Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳（メタデータ） (2023-04-14T09:39:06Z) - Oscillatory Fourier Neural Network: A Compact and Efficient Architecture
for Sequential Processing [16.69710555668727]
本稿では,コサイン活性化と時系列処理のための時間変化成分を有する新しいニューロンモデルを提案する。
提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。
IMDBデータセットの感情分析に提案されたモデルを適用すると、5時間以内のテスト精度は89.4%に達する。
論文 参考訳（メタデータ） (2021-09-14T19:08:07Z) - Online learning of windmill time series using Long Short-term Cognitive
Networks [58.675240242609064]
風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。
我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。
提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
論文 参考訳（メタデータ） (2021-07-01T13:13:24Z) - UnICORNN: A recurrent model for learning very long time dependencies [0.0]
2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。
結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
論文 参考訳（メタデータ） (2021-03-09T15:19:59Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - Achieving Online Regression Performance of LSTMs with Simple RNNs [0.0]
本稿では,パラメータ数に線形時間を要する1次学習アルゴリズムを提案する。
SRNNが我々のアルゴリズムでトレーニングされている場合、LSTMと非常によく似た回帰性能を2～3倍の短いトレーニング時間で提供することを示す。
論文 参考訳（メタデータ） (2020-05-16T11:41:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。