論文の概要: Working Memory Connections for LSTM

• arxiv url: http://arxiv.org/abs/2109.00020v1
• Date: Tue, 31 Aug 2021 18:01:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 14:33:44.817941
• Title: Working Memory Connections for LSTM
• Title（参考訳）: LSTMのためのワーキングメモリ接続
• Authors: Federico Landi, Lorenzo Baraldi, Marcella Cornia, Rita Cucchiara
• Abstract要約: ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。 数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
• 参考スコア（独自算出の注目度）: 51.742526187978726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Neural Networks with Long Short-Term Memory (LSTM) make use of gating mechanisms to mitigate exploding and vanishing gradients when learning long-term dependencies. For this reason, LSTMs and other gated RNNs are widely adopted, being the standard de facto for many sequence modeling tasks. Although the memory cell inside the LSTM contains essential information, it is not allowed to influence the gating mechanism directly. In this work, we improve the gate potential by including information coming from the internal cell state. The proposed modification, named Working Memory Connection, consists in adding a learnable nonlinear projection of the cell content into the network gates. This modification can fit into the classical LSTM gates without any assumption on the underlying task, being particularly effective when dealing with longer sequences. Previous research effort in this direction, which goes back to the early 2000s, could not bring a consistent improvement over vanilla LSTM. As part of this paper, we identify a key issue tied to previous connections that heavily limits their effectiveness, hence preventing a successful integration of the knowledge coming from the internal cell state. We show through extensive experimental evaluation that Working Memory Connections constantly improve the performance of LSTMs on a variety of tasks. Numerical results suggest that the cell state contains useful information that is worth including in the gate structure.
• Abstract（参考訳）: LSTM (Recurrent Neural Networks with Long Short-Term Memory) は、長期的な依存関係を学ぶ際に、爆発や勾配の消失を緩和するゲーティング機構を使用する。 このため、LSTMや他のゲートRNNは広く採用されており、多くのシーケンスモデリングタスクの標準デファクトとなっている。 LSTM内のメモリセルには必須情報が含まれているが、ゲーティング機構に直接影響を与えることは許されない。 本研究では,内部セル状態から得られる情報を含めることでゲート電位を改善する。 提案された修正はWorking Memory Connectionと呼ばれ、ネットワークゲートに学習可能な非線形プロジェクションを追加することで構成される。 この修正は、基礎となるタスクを仮定することなく、古典的なLSTMゲートに適合し、長いシーケンスを扱う際に特に効果的である。 2000年代初頭までさかのぼるこの方向の研究努力は、バニラLSTMよりも一貫した改善をもたらすことができなかった。 本稿では,その効果を著しく制限し,内部細胞状態から得られる知識の統合が成功するのを防げる,以前の接続に関連する重要な問題を明らかにする。 動作記憶接続は様々なタスクにおけるLSTMの性能を常に向上することを示す。 解析結果から,セル状態はゲート構造に含まれる有用な情報を含むことが示唆された。

関連論文リスト

• xLSTM: Extended Long Short-Term Memory [26.607656211983155]
  1990年代、Long Short-Term Memory (LSTM) の中心概念として、定数エラーカルーセルとゲーティングが導入された。 正規化と安定化を適切に行う指数ゲーティングを導入する。 i)スカラーメモリ,スカラー更新,新しいメモリ混合,(ii)行列メモリと共分散更新ルールと完全に並列化可能なmLSTM。
  論文  参考訳（メタデータ） (2024-05-07T17:50:21Z)
• NAC-TCN: Temporal Convolutional Networks with Causal Dilated Neighborhood Attention for Emotion Understanding [60.74434735079253]
  畳み込みTCN(NAC-TCN)を用いた近傍注意法を提案する。 これを実現するために、Dilated Neighborhood Attentionの因果バージョンを導入し、畳み込みを組み込んだ。 我々のモデルは、標準的な感情認識データセットに少ないパラメータを必要としながら、TCN、TCL、LSTM、GRUに匹敵する、より優れた、あるいは最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-12T18:41:30Z)
• RigLSTM: Recurrent Independent Grid LSTM for Generalizable Sequence Learning [75.61681328968714]
  本稿では,対象タスクの基盤となるモジュール構造を利用するために,リカレントな独立したGrid LSTM(RigLSTM)を提案する。 本モデルでは, セル選択, 入力特徴選択, 隠れ状態選択, ソフト状態更新を採用し, より優れた一般化を実現する。
  論文  参考訳（メタデータ） (2023-11-03T07:40:06Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)
• Gates Are Not What You Need in RNNs [2.6199029802346754]
  従来のセルに勝って1つのゲートを使わないResidual Recurrent Unit(RRU)と呼ばれる新しいリカレントセルを提案する。 これは残りのショートカット接続、線形変換、ReLU、正規化に基づいている。 実験の結果,RRUは従来のゲートユニットよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-01T19:20:34Z)
• Slower is Better: Revisiting the Forgetting Mechanism in LSTM for Slower Information Decay [4.414729427965163]
  より遅い電力法崩壊関数に沿って情報を忘れることを学ぶ電力法忘れゲートを提案する。 提案手法を用いたLSTMは,複数の領域における他のリカレントネットワークよりも優れた長期依存性を学習できることを示す。
  論文  参考訳（メタデータ） (2021-05-12T20:21:16Z)
• "Forget" the Forget Gate: Estimating Anomalies in Videos using Self-contained Long Short-Term Memory Networks [20.211951213040937]
  本稿では,LSTMに基づく新たな自己完結型ネットワークを学習し,ビデオ中の異常を検出する手法を提案する。 忘れゲートを破棄し,シグモイドを活性化させることにより,両ゲート型軽量LSTM細胞を導入する。 取り外しゲートを除去するとLSTMセルが簡素化され、性能効率と計算効率が向上する。
  論文  参考訳（メタデータ） (2021-04-03T20:43:49Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)
• Long short-term memory networks and laglasso for bond yield forecasting: Peeping inside the black box [10.412912723760172]
  長期記憶(LSTM)ネットワークを用いた結合収率予測の最初の研究を行った。 我々は,シーケンス・ツー・シーケンス・アーキテクチャを用いて,メモリセル内の選択された位置におけるLSTM信号の時間的計算を行う。
  論文  参考訳（メタデータ） (2020-05-05T14:23:00Z)
• Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units [68.30422112784355]
  本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。 提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。 LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
  論文  参考訳（メタデータ） (2020-02-26T07:51:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。