論文の概要: Biological learning in key-value memory networks

• arxiv url: http://arxiv.org/abs/2110.13976v1
• Date: Tue, 26 Oct 2021 19:26:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 05:23:33.345068
• Title: Biological learning in key-value memory networks
• Title（参考訳）: キー値メモリネットワークにおける生物学習
• Authors: Danil Tyulmankov, Ching Fang, Annapurna Vadaparty, Guangyu Robert Yang
• Abstract要約: 機械学習におけるメモリ拡張ニューラルネットワークは、一般的にキーバリューメカニズムを使用して、単一のステップでメモリを保存および読み出す。 本稿では,生物学的に妥当な3要素の可塑性規則の組み合わせを用いて入力を記憶する基本キー値メモリの実装を提案する。 本結果は,生物学的長期記憶のモデルとして,古典的なホップフィールドネットワークに代わる魅力的な代替手段であることを示唆している。
• 参考スコア（独自算出の注目度）: 0.45880283710344055
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In neuroscience, classical Hopfield networks are the standard biologically plausible model of long-term memory, relying on Hebbian plasticity for storage and attractor dynamics for recall. In contrast, memory-augmented neural networks in machine learning commonly use a key-value mechanism to store and read out memories in a single step. Such augmented networks achieve impressive feats of memory compared to traditional variants, yet their biological relevance is unclear. We propose an implementation of basic key-value memory that stores inputs using a combination of biologically plausible three-factor plasticity rules. The same rules are recovered when network parameters are meta-learned. Our network performs on par with classical Hopfield networks on autoassociative memory tasks and can be naturally extended to continual recall, heteroassociative memory, and sequence learning. Our results suggest a compelling alternative to the classical Hopfield network as a model of biological long-term memory.
• Abstract（参考訳）: 神経科学において、古典的なホップフィールドネットワークは、長期記憶の標準的な生物学的に妥当なモデルであり、記憶のためのヘビアン可塑性と記憶のためのアトラクタダイナミクスに依存している。 対照的に、機械学習におけるメモリ提供ニューラルネットワークは、通常、キーバリューメカニズムを使用して、単一のステップで記憶を保存、読み出す。 このような拡張ネットワークは、従来の変種と比べて印象的な記憶力を発揮するが、生物学的な関連性は明らかではない。 本稿では,生物学的に実現可能な3要素可塑性規則を組み合わせて入力を格納する基本キー値メモリの実装を提案する。 ネットワークパラメータがメタ学習されると、同じルールが復元される。 我々のネットワークは、自己連想型メモリタスクにおける古典的なホップフィールドネットワークと同等に動作し、連続的リコール、ヘテロ連想型メモリ、シーケンス学習に自然に拡張できる。 本研究は生物の長期記憶のモデルとして古典的ホップフィールドネットワークの代替案を示唆する。

関連論文リスト

• Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
  Dense Associative Memoriesはホップフィールドネットワークの高容量版である。 このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:10:57Z)
• Sequential Learning in the Dense Associative Memory [1.2289361708127877]
  逐次学習問題におけるDense Associative Memoryの性能について検討する。 本稿では,既存の逐次学習手法をDense Associative Memoryに適用し,逐次学習性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-09-24T04:23:00Z)
• In search of dispersed memories: Generative diffusion models are associative memory networks [6.4322891559626125]
  生成拡散モデル(Generative diffusion model)は、多くのタスクにおいて優れたパフォーマンスを示す生成機械学習技術の一種である。 生成拡散モデルはエネルギーベースモデルと解釈でき、離散パターンで訓練すると、それらのエネルギー関数は現在のホップフィールドネットワークと同一であることを示す。 この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
  論文  参考訳（メタデータ） (2023-09-29T14:48:24Z)
• Memory-enriched computation and learning in spiking neural networks through Hebbian plasticity [9.453554184019108]
  ヘビアン可塑性は生物学的記憶において重要な役割を担っていると考えられている。 本稿では,ヘビーンのシナプス可塑性に富む新しいスパイクニューラルネットワークアーキテクチャを提案する。 ヘビーンの豊かさは、ニューラルネットワークの計算能力と学習能力の点で驚くほど多彩であることを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:48:37Z)
• Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
  本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。 本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
  論文  参考訳（メタデータ） (2022-04-07T17:34:01Z)
• Hierarchical Associative Memory [2.66512000865131]
  Associative Memories や Modern Hopfield Networks は、多くの魅力的な特性を持っている。 パターン補完を行い、多数のメモリを格納し、リカレントニューラルネットワークを使用して記述することができる。 本稿では,任意の数のレイヤを持つ連想メモリの完全再帰モデルについて述べる。
  論文  参考訳（メタデータ） (2021-07-14T01:38:40Z)
• Slow manifolds in recurrent networks encode working memory efficiently and robustly [0.0]
  ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能である。 作業メモリのネットワークレベルメカニズムを調べるために,トップダウンモデリング手法を用いる。
  論文  参考訳（メタデータ） (2021-01-08T18:47:02Z)
• Learning to Learn Variational Semantic Memory [132.39737669936125]
  我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。 セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。 アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
  論文  参考訳（メタデータ） (2020-10-20T15:05:26Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Self-Attentive Associative Memory [69.40038844695917]
  我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2020-02-10T03:27:48Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。