論文の概要: Encoding-based Memory Modules for Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2001.11771v1
• Date: Fri, 31 Jan 2020 11:14:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 05:35:48.894668
• Title: Encoding-based Memory Modules for Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークのためのエンコーディングベースメモリモジュール
• Authors: Antonio Carta, Alessandro Sperduti, Davide Bacciu
• Abstract要約: 本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
• 参考スコア（独自算出の注目度）: 79.42778415729475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to solve sequential tasks with recurrent models requires the ability to memorize long sequences and to extract task-relevant features from them. In this paper, we study the memorization subtask from the point of view of the design and training of recurrent neural networks. We propose a new model, the Linear Memory Network, which features an encoding-based memorization component built with a linear autoencoder for sequences. We extend the memorization component with a modular memory that encodes the hidden state sequence at different sampling frequencies. Additionally, we provide a specialized training algorithm that initializes the memory to efficiently encode the hidden activations of the network. The experimental results on synthetic and real-world datasets show that specializing the training algorithm to train the memorization component always improves the final performance whenever the memorization of long sequences is necessary to solve the problem.
• Abstract（参考訳）: 逐次的タスクをリカレントモデルで解くには、長いシーケンスを記憶し、タスク関連機能を抽出する能力が必要である。 本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて検討する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。 記憶成分をモジュールメモリで拡張し,異なるサンプリング周波数で隠れた状態列を符号化する。 さらに,メモリを初期化し,ネットワークの隠れたアクティベーションを効率的にエンコードする専用トレーニングアルゴリズムを提案する。 合成および実世界のデータセットを用いた実験結果から, 記憶成分を訓練するためのトレーニングアルゴリズムの専門化は, 長い列の記憶が必要なときは常に最終性能を向上することがわかった。

関連論文リスト

• Generalizability of Memorization Neural Networks [13.144557876007358]
  暗記は、ディープラーニングの強い一般化可能性と密接な関係があると広く信じられている。 記憶ネットワークを一般化するためには、ネットワークの幅は少なくともデータの寸法に等しい必要があることを示す。 また、それらに対して一般化可能なデータ分布が存在することも示され、記憶ネットワークはデータ次元において指数的な数のパラメータを持つ必要がある。
  論文  参考訳（メタデータ） (2024-11-01T05:18:46Z)
• Sequential Learning in the Dense Associative Memory [1.2289361708127877]
  逐次学習問題におけるDense Associative Memoryの性能について検討する。 本稿では,既存の逐次学習手法をDense Associative Memoryに適用し,逐次学習性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-09-24T04:23:00Z)
• Enhancing Length Extrapolation in Sequential Models with Pointer-Augmented Neural Memory [66.88278207591294]
  本稿では,新しいより長いデータ列に対して,ニューラルネットワークによるシンボル処理の理解と適用を支援するために,Pointer-Augmented Neural Memory (PANM)を提案する。 PANMは、新しい物理アドレスとポインタ操作技術を使用して、人間とコンピュータのシンボル処理能力を模倣する外部のニューラルメモリを統合する。
  論文  参考訳（メタデータ） (2024-04-18T03:03:46Z)
• Learning Sequence Attractors in Recurrent Networks with Hidden Neurons [8.639486652067024]
  任意のパターン列を格納するには,ネットワークに隠されたニューロンを含める必要があることを示す。 隠れたニューロンを持つネットワーク内のシーケンスアトラクタを学習するための局所学習アルゴリズムを開発した。 ネットワークモデルは、合成および実世界のデータセット上で、シーケンスを堅牢に保存し、取得できることを実証する。
  論文  参考訳（メタデータ） (2024-04-03T13:29:12Z)
• The Curious Case of Benign Memorization [19.74244993871716]
  データ拡張を含むトレーニングプロトコルの下で、ニューラルネットワークは、完全にランダムなラベルを良心的に記憶することを学ぶ。 深層モデルでは,暗記作業と特徴学習を異なる層に分散することで,信号からノイズを分離する驚くべき能力があることを実証する。
  論文  参考訳（メタデータ） (2022-10-25T13:41:31Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
  既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。 メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
  論文  参考訳（メタデータ） (2021-06-02T11:58:30Z)
• Reservoir Stack Machines [77.12475691708838]
  メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。 本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。 以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
  論文  参考訳（メタデータ） (2021-05-04T16:50:40Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。