論文の概要: Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory

• arxiv url: http://arxiv.org/abs/2006.16800v1
• Date: Mon, 29 Jun 2020 08:35:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 14:04:56.136808
• Title: Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory
• Title（参考訳）: マルチスケール動的メモリを利用したリカレントニューラルネットワークのインクリメンタルトレーニング
• Authors: Antonio Carta, Alessandro Sperduti, Davide Bacciu
• Abstract要約: 本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
• 参考スコア（独自算出の注目度）: 79.42778415729475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The effectiveness of recurrent neural networks can be largely influenced by their ability to store into their dynamical memory information extracted from input sequences at different frequencies and timescales. Such a feature can be introduced into a neural architecture by an appropriate modularization of the dynamic memory. In this paper we propose a novel incrementally trained recurrent architecture targeting explicitly multi-scale learning. First, we show how to extend the architecture of a simple RNN by separating its hidden state into different modules, each subsampling the network hidden activations at different frequencies. Then, we discuss a training algorithm where new modules are iteratively added to the model to learn progressively longer dependencies. Each new module works at a slower frequency than the previous ones and it is initialized to encode the subsampled sequence of hidden activations. Experimental results on synthetic and real-world datasets on speech recognition and handwritten characters show that the modular architecture and the incremental training algorithm improve the ability of recurrent neural networks to capture long-term dependencies.
• Abstract（参考訳）: 繰り返しニューラルネットワークの有効性は、異なる周波数と時間スケールで入力シーケンスから抽出された動的メモリ情報に格納する能力に大きく影響される。 このような機能は、動的メモリの適切なモジュール化によって、ニューラルネットワークアーキテクチャに導入することができる。 本稿では,マルチスケール学習を目標とした新しい漸進的学習型リカレントアーキテクチャを提案する。 まず、隠れた状態を異なるモジュールに分割し、それぞれ異なる周波数で隠れたアクティベーションをサブサンプリングすることで、単純なRNNのアーキテクチャを拡張する方法を示す。 次に,新しいモジュールを反復的にモデルに追加し,より長い依存関係を学習するトレーニングアルゴリズムについて検討する。 それぞれの新しいモジュールは以前のモジュールよりも遅い頻度で動作し、隠れたアクティベーションのサブサンプリングシーケンスをエンコードするように初期化される。 音声認識と手書き文字の合成および実世界のデータセットに対する実験結果から,モジュールアーキテクチャと漸進的学習アルゴリズムにより,ニューラルネットワークの長期依存性を捕捉する能力が改善された。

関連論文リスト

• Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
  与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。 モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。 以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-10T13:44:07Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Oscillatory Fourier Neural Network: A Compact and Efficient Architecture for Sequential Processing [16.69710555668727]
  本稿では,コサイン活性化と時系列処理のための時間変化成分を有する新しいニューロンモデルを提案する。 提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。 IMDBデータセットの感情分析に提案されたモデルを適用すると、5時間以内のテスト精度は89.4%に達する。
  論文  参考訳（メタデータ） (2021-09-14T19:08:07Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Separation of Memory and Processing in Dual Recurrent Neural Networks [0.0]
  入力に接続する繰り返し層とフィードフォワード層を積み重ねるニューラルネットワークアーキテクチャを探索する。 繰り返し単位の活性化関数にノイズが導入されたとき、これらのニューロンは二項活性化状態に強制され、ネットワークは有限オートマトンのように振る舞う。
  論文  参考訳（メタデータ） (2020-05-17T11:38:42Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。