論文の概要: Encoding-based Memory Modules for Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2001.11771v1
- Date: Fri, 31 Jan 2020 11:14:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 05:35:48.894668
- Title: Encoding-based Memory Modules for Recurrent Neural Networks
- Title(参考訳): リカレントニューラルネットワークのためのエンコーディングベースメモリモジュール
- Authors: Antonio Carta, Alessandro Sperduti, Davide Bacciu
- Abstract要約: 本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。
本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
- 参考スコア(独自算出の注目度): 79.42778415729475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning to solve sequential tasks with recurrent models requires the ability
to memorize long sequences and to extract task-relevant features from them. In
this paper, we study the memorization subtask from the point of view of the
design and training of recurrent neural networks. We propose a new model, the
Linear Memory Network, which features an encoding-based memorization component
built with a linear autoencoder for sequences. We extend the memorization
component with a modular memory that encodes the hidden state sequence at
different sampling frequencies. Additionally, we provide a specialized training
algorithm that initializes the memory to efficiently encode the hidden
activations of the network. The experimental results on synthetic and
real-world datasets show that specializing the training algorithm to train the
memorization component always improves the final performance whenever the
memorization of long sequences is necessary to solve the problem.
- Abstract(参考訳): 逐次的タスクをリカレントモデルで解くには、長いシーケンスを記憶し、タスク関連機能を抽出する能力が必要である。
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて検討する。
本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
記憶成分をモジュールメモリで拡張し,異なるサンプリング周波数で隠れた状態列を符号化する。
さらに,メモリを初期化し,ネットワークの隠れたアクティベーションを効率的にエンコードする専用トレーニングアルゴリズムを提案する。
合成および実世界のデータセットを用いた実験結果から, 記憶成分を訓練するためのトレーニングアルゴリズムの専門化は, 長い列の記憶が必要なときは常に最終性能を向上することがわかった。
関連論文リスト
- The Curious Case of Benign Memorization [19.74244993871716]
データ拡張を含むトレーニングプロトコルの下で、ニューラルネットワークは、完全にランダムなラベルを良心的に記憶することを学ぶ。
深層モデルでは,暗記作業と特徴学習を異なる層に分散することで,信号からノイズを分離する驚くべき能力があることを実証する。
論文 参考訳(メタデータ) (2022-10-25T13:41:31Z) - Finding Memo: Extractive Memorization in Constrained Sequence Generation
Tasks [12.478605921259403]
記憶化は、ニューラルネットワーク翻訳(NMT)のようないくつかの制約付き自然言語生成(NLG)タスクに挑戦する。
制約付きシーケンス生成タスクにおける抽出記憶のための,新しい安価なアルゴリズムを提案する。
我々は,同じモデルから記憶されたサンプルの非記憶翻訳を抽出する簡単なアルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-10-24T03:01:52Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳(メタデータ) (2022-10-17T20:15:24Z) - Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。
メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。
しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。
本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
論文 参考訳(メタデータ) (2021-06-02T11:58:30Z) - Reservoir Stack Machines [77.12475691708838]
メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。
本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。
以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
論文 参考訳(メタデータ) (2021-05-04T16:50:40Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳(メタデータ) (2020-06-29T08:35:49Z) - Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。
脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。
このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
論文 参考訳(メタデータ) (2020-03-06T11:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。