論文の概要: Assessing the Memory Ability of Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2002.07422v1
• Date: Tue, 18 Feb 2020 08:07:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 18:59:39.988126
• Title: Assessing the Memory Ability of Recurrent Neural Networks
• Title（参考訳）: 繰り返しニューラルネットワークの記憶能力の評価
• Authors: Cheng Zhang, Qiuchi Li, Lingyu Hua and Dawei Song
• Abstract要約: リカレントニューラルネットワーク(RNN)は、シークエンスによって表現されるセマンティック情報の一部を、その隠されたレイヤで記憶することができる。 異なるタイプのリカレントユニットは、RNNが長期間にわたって情報を記憶できるように設計されている。 異なるリカレントユニットの記憶能力は理論上も経験上も不明である。
• 参考スコア（独自算出の注目度）: 21.88086102298848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is known that Recurrent Neural Networks (RNNs) can remember, in their hidden layers, part of the semantic information expressed by a sequence (e.g., a sentence) that is being processed. Different types of recurrent units have been designed to enable RNNs to remember information over longer time spans. However, the memory abilities of different recurrent units are still theoretically and empirically unclear, thus limiting the development of more effective and explainable RNNs. To tackle the problem, in this paper, we identify and analyze the internal and external factors that affect the memory ability of RNNs, and propose a Semantic Euclidean Space to represent the semantics expressed by a sequence. Based on the Semantic Euclidean Space, a series of evaluation indicators are defined to measure the memory abilities of different recurrent units and analyze their limitations. These evaluation indicators also provide a useful guidance to select suitable sequence lengths for different RNNs during training.
• Abstract（参考訳）: リカレントニューラルネットワーク(recurrent neural networks, rnn)は、処理中のシーケンス(例えば文)によって表現される意味情報の一部が隠れた層で記憶されることが知られている。 異なるタイプのリカレントユニットは、RNNが長期間にわたって情報を記憶できるように設計されている。 しかし、異なるリカレントユニットのメモリ能力は理論上も実験上も不明であり、それによってより効果的で説明可能なRNNの開発が制限される。 本稿では,RNNの記憶能力に影響を与える内部的・外部的要因を特定し解析し,シーケンスで表される意味を表現するためのセマンティックユークリッド空間を提案する。 セマンティックユークリッド空間に基づく一連の評価指標は、異なるリカレントユニットのメモリ能力を測定し、それらの制限を分析するために定義される。 これらの評価指標はまた、トレーニング中に異なるRNNに対して適切なシーケンス長を選択するための有用なガイダンスを提供する。

関連論文リスト

• Geometry of naturalistic object representations in recurrent neural network models of working memory [2.028720028008411]
  ニューラルネットワークの動作記憶において、自然言語的対象情報がいかに維持されているかを示す。 この結果から, ゴール駆動型RNNでは, 短時間で情報を追跡するために, 時系列メモリサブスペースが使用されていることが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T23:57:46Z)
• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks [3.683202928838613]
  本稿では,最近提案された一般逐次記憶モデルにおいて,RNNを離散時間アナログとして概念化できるという,エピソード記憶理論(EMT)を提案する。 本稿では,RNNにおける変数結合の振る舞いを探索するアルゴリズムを新たに導入する。 実験により、訓練されたRNNは可変結合回路に一貫して収束し、RNNのダイナミクスの普遍性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-03T20:52:37Z)
• Empirical Analysis of Limits for Memory Distance in Recurrent Neural Networks [10.09712608508383]
  我々は、RNNが標準的なバックプロパゲーションを用いてそれらを記憶することで、いくつかのデータポイントをシーケンスに戻すことができることを示す。 古典的なRNNでは、LSTMとGRUは、この方法で再現できる再帰呼び出し間のデータポイントの距離が極めて限られている。
  論文  参考訳（メタデータ） (2022-12-20T08:20:48Z)
• Selective Memory Recursive Least Squares: Recast Forgetting into Memory in RBF Neural Network Based Real-Time Learning [2.31120983784623]
  放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。 本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。 SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
  論文  参考訳（メタデータ） (2022-11-15T05:29:58Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Recurrence-in-Recurrence Networks for Video Deblurring [58.49075799159015]
  最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。 本稿では,短距離メモリの限界に対処する再帰型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-12T11:58:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。