論文の概要: Sequential Learning in the Dense Associative Memory
- arxiv url: http://arxiv.org/abs/2409.15729v1
- Date: Tue, 24 Sep 2024 04:23:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 09:01:07.464907
- Title: Sequential Learning in the Dense Associative Memory
- Title（参考訳）: 暗黙の連想記憶における逐次学習
- Authors: Hayden McAlister, Anthony Robins, Lech Szymanski,
- Abstract要約: 逐次学習問題におけるDense Associative Memoryの性能について検討する。
本稿では,既存の逐次学習手法をDense Associative Memoryに適用し,逐次学習性能を向上させることを提案する。
- 参考スコア（独自算出の注目度）: 1.2289361708127877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential learning involves learning tasks in a sequence, and proves challenging for most neural networks. Biological neural networks regularly conquer the sequential learning challenge and are even capable of transferring knowledge both forward and backwards between tasks. Artificial neural networks often totally fail to transfer performance between tasks, and regularly suffer from degraded performance or catastrophic forgetting on previous tasks. Models of associative memory have been used to investigate the discrepancy between biological and artificial neural networks due to their biological ties and inspirations, of which the Hopfield network is perhaps the most studied model. The Dense Associative Memory, or modern Hopfield network, generalizes the Hopfield network, allowing for greater capacities and prototype learning behaviors, while still retaining the associative memory structure. We investigate the performance of the Dense Associative Memory in sequential learning problems, and benchmark various sequential learning techniques in the network. We give a substantial review of the sequential learning space with particular respect to the Hopfield network and associative memories, as well as describe the techniques we implement in detail. We also draw parallels between the classical and Dense Associative Memory in the context of sequential learning, and discuss the departures from biological inspiration that may influence the utility of the Dense Associative Memory as a tool for studying biological neural networks. We present our findings, and show that existing sequential learning methods can be applied to the Dense Associative Memory to improve sequential learning performance.
- Abstract（参考訳）: 逐次学習は、タスクをシーケンスで学習することを含み、ほとんどのニューラルネットワークにとって難しいことを証明する。
生物学的ニューラルネットワークは、シーケンシャルな学習課題を定期的に克服し、タスク間の前方と後方の両方で知識を伝達することができる。
人工ニューラルネットワークは、しばしばタスク間でパフォーマンスを転送するのに完全に失敗し、しばしば劣化したパフォーマンスや、以前のタスクの破滅的な忘れに苦しむ。
連想記憶のモデルは、生物学的な結びつきとインスピレーションにより、生物学的ニューラルネットワークと人工ニューラルネットワークの相違を調べるために使われてきた。
デンス・アソシエーション・メモリ(Dense Associative Memory)は、ホップフィールド・ネットワークを一般化し、アソシエーション・メモリ構造を維持しながら、より大きな能力とプロトタイプの学習行動を可能にする。
逐次学習問題におけるDense Associative Memoryの性能について検討し,ネットワーク上での様々なシーケンシャル学習手法をベンチマークする。
本稿では, ホップフィールドネットワークと連想記憶に関して, 逐次学習空間の実質的レビューを行い, 実装手法を詳述する。
また、逐次学習の文脈において、古典記憶とDense連想記憶の類似性を描き、生物学的ニューラルネットワークの研究ツールとしてのDense連想記憶の有用性に影響を与える生物学的インスピレーションから逸脱することについて議論する。
そこで本研究では,既存の逐次学習手法をDense Associative Memoryに適用して,逐次学習性能を向上させる方法を提案する。
関連論文リスト
- Spiking representation learning for associative memories [0.0]
本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。
モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
論文 参考訳（メタデータ） (2024-06-05T08:30:11Z) - In search of dispersed memories: Generative diffusion models are
associative memory networks [6.4322891559626125]
生成拡散モデル(Generative diffusion model)は、多くのタスクにおいて優れたパフォーマンスを示す生成機械学習技術の一種である。
生成拡散モデルはエネルギーベースモデルと解釈でき、離散パターンで訓練すると、それらのエネルギー関数は現在のホップフィールドネットワークと同一であることを示す。
この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
論文 参考訳（メタデータ） (2023-09-29T14:48:24Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳（メタデータ） (2022-10-17T20:15:24Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳（メタデータ） (2022-10-06T15:36:27Z) - Biological learning in key-value memory networks [0.45880283710344055]
機械学習におけるメモリ拡張ニューラルネットワークは、一般的にキーバリューメカニズムを使用して、単一のステップでメモリを保存および読み出す。
本稿では,生物学的に妥当な3要素の可塑性規則の組み合わせを用いて入力を記憶する基本キー値メモリの実装を提案する。
本結果は,生物学的長期記憶のモデルとして,古典的なホップフィールドネットワークに代わる魅力的な代替手段であることを示唆している。
論文 参考訳（メタデータ） (2021-10-26T19:26:53Z) - Learning offline: memory replay in biological and artificial
reinforcement learning [1.0136215038345011]
神経科学・AI分野におけるリプレイの機能的役割を概観する。
リプレイは生物学的ニューラルネットワークにおけるメモリ統合に重要である。
また、ディープニューラルネットワークにおける学習の安定化の鍵でもある。
論文 参考訳（メタデータ） (2021-09-21T08:57:19Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z) - Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。
脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。
このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-03-06T11:35:24Z) - Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。
本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
論文 参考訳（メタデータ） (2020-01-31T11:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。