論文の概要: Learning Sequence Attractors in Recurrent Networks with Hidden Neurons

• arxiv url: http://arxiv.org/abs/2404.02729v1
• Date: Wed, 3 Apr 2024 13:29:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 17:21:13.379820
• Title: Learning Sequence Attractors in Recurrent Networks with Hidden Neurons
• Title（参考訳）: 隠れたニューロンを持つ反復ネットワークにおける学習シーケンスインタトラクター
• Authors: Yao Lu, Si Wu,
• Abstract要約: 任意のパターン列を格納するには,ネットワークに隠されたニューロンを含める必要があることを示す。 隠れたニューロンを持つネットワーク内のシーケンスアトラクタを学習するための局所学習アルゴリズムを開発した。 ネットワークモデルは、合成および実世界のデータセット上で、シーケンスを堅牢に保存し、取得できることを実証する。
• 参考スコア（独自算出の注目度）: 8.639486652067024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The brain is targeted for processing temporal sequence information. It remains largely unclear how the brain learns to store and retrieve sequence memories. Here, we study how recurrent networks of binary neurons learn sequence attractors to store predefined pattern sequences and retrieve them robustly. We show that to store arbitrary pattern sequences, it is necessary for the network to include hidden neurons even though their role in displaying sequence memories is indirect. We develop a local learning algorithm to learn sequence attractors in the networks with hidden neurons. The algorithm is proven to converge and lead to sequence attractors. We demonstrate that the network model can store and retrieve sequences robustly on synthetic and real-world datasets. We hope that this study provides new insights in understanding sequence memory and temporal information processing in the brain.
• Abstract（参考訳）: 脳は、時間的シーケンス情報を処理することを目的としている。 脳がどのようにシーケンス記憶を保存し、取得するかは、まだ明らかになっていない。 本稿では,2次ニューロンの繰り返しネットワークが,予め定義されたパターン配列を格納し,それらを頑健に検索するためにシーケンスアトラクタを学習する方法について検討する。 任意のパターン配列を格納するには,シーケンス記憶を間接的に表示する場合においても,隠されたニューロンを含む必要があることを示す。 隠れたニューロンを持つネットワーク内のシーケンスアトラクタを学習するための局所学習アルゴリズムを開発した。 このアルゴリズムは収束し、シーケンサーにつながることが証明されている。 ネットワークモデルは、合成および実世界のデータセット上で、シーケンスを頑健に保存し、取得できることを実証する。 この研究は、脳内のシーケンス記憶と時間情報処理の理解に新たな洞察を与えてくれることを願っている。

関連論文リスト

• Sequential Learning in the Dense Associative Memory [1.2289361708127877]
  逐次学習問題におけるDense Associative Memoryの性能について検討する。 本稿では,既存の逐次学習手法をDense Associative Memoryに適用し,逐次学習性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-09-24T04:23:00Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning and Generalization in RNNs [11.107204912245841]
  単純なリカレントニューラルネットワークがシーケンスの関数を学習できることを実証する。 新しいアイデアは、我々の証明でRNNの隠れた状態から情報を抽出することを可能にする。
  論文  参考訳（メタデータ） (2021-05-31T18:27:51Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Ensemble perspective for understanding temporal credit assignment [1.9843222704723809]
  繰り返しニューラルネットワークにおける各接続は、正確な重み値ではなく、スパイクとスラブの分布によってモデル化されていることを示す。 本モデルでは,ネットワーク全体の性能を決定する重要な接続を明らかにする。 したがって、再帰的なニューラルネットワークにおける時間的クレジット割り当てをアンサンブルの観点から研究することを約束している。
  論文  参考訳（メタデータ） (2021-02-07T08:14:05Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Towards a Neural Model for Serial Order in Frontal Cortex: a Brain Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
  そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。 我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。 これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
  論文  参考訳（メタデータ） (2020-05-22T14:29:51Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。