論文の概要: A comparison of LSTM and GRU networks for learning symbolic sequences

• arxiv url: http://arxiv.org/abs/2107.02248v1
• Date: Mon, 5 Jul 2021 19:49:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 13:37:21.128722
• Title: A comparison of LSTM and GRU networks for learning symbolic sequences
• Title（参考訳）: シンボリックシーケンス学習のためのLSTMとGRUネットワークの比較
• Authors: Roberto Cahuantzi, Xinye Chen, Stefan G\"uttel
• Abstract要約: 長寿命短期記憶(LSTM)ネットワークとゲートリカレントユニット(GRU)の比較を行った。 トレーニング時間が制約された場合,RNN深度の増加が必ずしも記憶能力の向上をもたらすとは限らないことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore relations between the hyper-parameters of a recurrent neural network (RNN) and the complexity of string sequences it is able to memorize. We compare long short-term memory (LSTM) networks and gated recurrent units (GRUs). We find that an increase of RNN depth does not necessarily result in better memorization capability when the training time is constrained. Our results also indicate that the learning rate and the number of units per layer are among the most important hyper-parameters to be tuned. Generally, GRUs outperform LSTM networks on low complexity sequences while on high complexity sequences LSTMs perform better.
• Abstract（参考訳）: 我々は、リカレントニューラルネットワーク(RNN)のハイパーパラメータと、記憶可能な文字列列の複雑さの関係について検討する。 長寿命メモリ(LSTM)ネットワークとゲートリカレントユニット(GRU)を比較した。 トレーニング時間が制約された場合,RNN深度の増加は必ずしも記憶能力の向上をもたらすとは限らない。 また,学習速度と1層あたりのユニット数も,調整すべき最も重要なハイパーパラメータの一つであることを示す。 一般的に、GRUは低複雑性シーケンス上でLSTMネットワークを上回り、高複雑性シーケンスではLSTMの性能が向上する。

関連論文リスト

• Unlocking the Power of LSTM for Long Term Time Series Forecasting [27.245021350821638]
  本稿では, sLSTM 上に実装したP-sLSTM という単純なアルゴリズムを提案する。 これらの改良により、TSFにおけるsLSTMの性能が大幅に向上し、最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-08-19T13:59:26Z)
• Resurrecting Recurrent Neural Networks for Long Sequences [45.800920421868625]
  リカレントニューラルネットワーク(RNN)は、長いシーケンスに対する高速な推論を提供するが、最適化が難しく、訓練が遅い。 深部状態空間モデル(SSM)は、最近、長いシーケンスモデリングタスクにおいて非常によく機能することが示されている。 本稿では,信号伝搬の標準的な引数を用いた深部RNNの設計により,長距離推論タスクにおける深部SSMの性能を回復できることを示す。
  論文  参考訳（メタデータ） (2023-03-11T08:53:11Z)
• Image Classification using Sequence of Pixels [3.04585143845864]
  本研究では,繰り返しニューラルネットワークを用いた逐次画像分類法の比較を行った。 本稿では,Long-Short-Term memory(LSTM)やBidirectional Long-Short-Term memory(BiLSTM)アーキテクチャに基づく手法について述べる。
  論文  参考訳（メタデータ） (2022-09-23T09:42:44Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
  我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。 その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
  論文  参考訳（メタデータ） (2020-12-03T08:32:01Z)
• Hybrid Backpropagation Parallel Reservoir Networks [8.944918753413827]
  本稿では,貯水池のランダムな時間的特徴と深層ニューラルネットワークの読み出し能力と,バッチ正規化を併用した新しいハイブリッドネットワークを提案する。 我々の新しいネットワークはLSTMやGRUよりも優れていることを示す。 また, HBP-ESN M-Ring と呼ばれる新しいメタリング構造を組み込むことで, 1つの大きな貯水池に類似した性能を実現し, メモリ容量の最大化を図っている。
  論文  参考訳（メタデータ） (2020-10-27T21:03:35Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)
• Tensor train decompositions on recurrent networks [60.334946204107446]
  マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。 理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
  論文  参考訳（メタデータ） (2020-06-09T18:25:39Z)
• Achieving Online Regression Performance of LSTMs with Simple RNNs [0.0]
  本稿では,パラメータ数に線形時間を要する1次学習アルゴリズムを提案する。 SRNNが我々のアルゴリズムでトレーニングされている場合、LSTMと非常によく似た回帰性能を2～3倍の短いトレーニング時間で提供することを示す。
  論文  参考訳（メタデータ） (2020-05-16T11:41:13Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。