論文の概要: Slower is Better: Revisiting the Forgetting Mechanism in LSTM for Slower Information Decay

• arxiv url: http://arxiv.org/abs/2105.05944v1
• Date: Wed, 12 May 2021 20:21:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 13:53:59.843627
• Title: Slower is Better: Revisiting the Forgetting Mechanism in LSTM for Slower Information Decay
• Title（参考訳）: Slower is Better: Revisiting the Forgetting Mechanism in LSTM for Slower Information Decay
• Authors: Hsiang-Yun Sherry Chien, Javier S. Turek, Nicole Beckage, Vy A. Vo, Christopher J. Honey, Ted L. Willke
• Abstract要約: より遅い電力法崩壊関数に沿って情報を忘れることを学ぶ電力法忘れゲートを提案する。 提案手法を用いたLSTMは,複数の領域における他のリカレントネットワークよりも優れた長期依存性を学習できることを示す。
• 参考スコア（独自算出の注目度）: 4.414729427965163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential information contains short- to long-range dependencies; however, learning long-timescale information has been a challenge for recurrent neural networks. Despite improvements in long short-term memory networks (LSTMs), the forgetting mechanism results in the exponential decay of information, limiting their capacity to capture long-timescale information. Here, we propose a power law forget gate, which instead learns to forget information along a slower power law decay function. Specifically, the new gate learns to control the power law decay factor, p, allowing the network to adjust the information decay rate according to task demands. Our experiments show that an LSTM with power law forget gates (pLSTM) can effectively capture long-range dependencies beyond hundreds of elements on image classification, language modeling, and categorization tasks, improving performance over the vanilla LSTM. We also inspected the revised forget gate by varying the initialization of p, setting p to a fixed value, and ablating cells in the pLSTM network. The results show that the information decay can be controlled by the learnable decay factor p, which allows pLSTM to achieve its superior performance. Altogether, we found that LSTM with the proposed forget gate can learn long-term dependencies, outperforming other recurrent networks in multiple domains; such gating mechanism can be integrated into other architectures for improving the learning of long timescale information in recurrent neural networks.
• Abstract（参考訳）: 逐次情報には短距離から長距離の依存関係が含まれているが、しかしながら、長時間の情報を学習することは、繰り返し発生するニューラルネットワークの課題である。 長い短期記憶ネットワーク(LSTM)の改善にもかかわらず、忘れるメカニズムは情報の指数関数的な減衰をもたらし、長期情報の取得能力を制限する。 本稿では、低速な電力法減衰関数に沿って情報を忘れることを学習する、電力法忘れゲートを提案する。 具体的には、新しいゲートは、電力法則減衰係数pを制御することを学び、ネットワークがタスク要求に応じて情報減衰率を調整する。 実験の結果,LPTMは画像分類,言語モデリング,分類タスクにおいて,数百要素を超える長距離依存性を効果的に捕捉し,バニラLSTMの性能を向上させることができることがわかった。 また, p の初期化, p を一定値に設定し, pLSTM ネットワーク内の細胞を破滅させることにより, 補正された忘れ門を検査した。 その結果、情報減衰は学習可能な減衰係数pで制御でき、pLSTMはその優れた性能を達成できることがわかった。 さらに,複数の領域における他の再帰的ネットワークよりも優れた長期的依存関係を学習できることを見出した。そのようなゲーティング機構は,リカレントニューラルネットワークにおける長期的情報学習を改善するために,他のアーキテクチャに統合することができる。

関連論文リスト

• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• An Improved Time Feedforward Connections Recurrent Neural Networks [3.0965505512285967]
  リカレントニューラルネットワーク(RNN)は洪水予測や財務データ処理といった時間的問題に広く応用されている。 従来のRNNモデルは、厳密な時系列依存性のために勾配問題を増幅する。 勾配問題に対処するために、改良された時間フィードフォワード接続リカレントニューラルネットワーク(TFC-RNN)モデルが最初に提案された。 単一ゲートリカレントユニット(Single Gate Recurrent Unit, SGRU)と呼ばれる新しい細胞構造が提示され、RNNセルのパラメータ数が減少した。
  論文  参考訳（メタデータ） (2022-11-03T09:32:39Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Working Memory Connections for LSTM [51.742526187978726]
  ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。 数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
  論文  参考訳（メタデータ） (2021-08-31T18:01:30Z)
• RotLSTM: Rotating Memories in Recurrent Neural Networks [0.0]
  LSTMの細胞状態(メモリ)を、新しいトレーニング可能な重みのセットによってパラメータ化された回転行列を用いて変更する概念を紹介します。 この追加により、bAbIデータセットのタスクのパフォーマンスが大幅に向上しました。
  論文  参考訳（メタデータ） (2021-05-01T23:48:58Z)
• Time Series Forecasting with Stacked Long Short-Term Memory Networks [0.0]
  本稿では,時系列予測領域におけるLSTMネットワークのスタック化の有効性,特に交通量予測について検討する。 交通量をより正確に予測できるようになると、より良い計画を立てることができ、運用コストを大幅に削減し、全体的な効率を改善することができる。
  論文  参考訳（メタデータ） (2020-11-02T03:09:23Z)
• HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
  本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。 過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。 このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
  論文  参考訳（メタデータ） (2020-08-17T23:39:33Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)
• Do RNN and LSTM have Long Memory? [15.072891084847647]
  RNN と LSTM は,統計的観点から長いメモリを持たないことが証明された。 長期記憶ネットワークの新しい定義を導入し、モデル重みを一定速度で減衰させる必要がある。 この理論を検証するため、RNNとLSTMを最小限の修正を行うことで長期記憶ネットワークに変換し、その優位性を様々なデータセットの長期依存をモデル化する。
  論文  参考訳（メタデータ） (2020-06-06T13:30:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。