論文の概要: In search of dispersed memories: Generative diffusion models are
associative memory networks
- arxiv url: http://arxiv.org/abs/2309.17290v2
- Date: Fri, 17 Nov 2023 17:05:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 17:42:42.798465
- Title: In search of dispersed memories: Generative diffusion models are
associative memory networks
- Title（参考訳）: 分散メモリ探索における生成拡散モデルは連想記憶ネットワークである
- Authors: Luca Ambrogioni
- Abstract要約: 生成拡散モデル(Generative diffusion model)は、多くのタスクにおいて優れたパフォーマンスを示す生成機械学習技術の一種である。
生成拡散モデルはエネルギーベースモデルと解釈でき、離散パターンで訓練すると、それらのエネルギー関数は現在のホップフィールドネットワークと同一であることを示す。
この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
- 参考スコア（独自算出の注目度）: 6.4322891559626125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncovering the mechanisms behind long-term memory is one of the most
fascinating open problems in neuroscience and artificial intelligence.
Artificial associative memory networks have been used to formalize important
aspects of biological memory. Generative diffusion models are a type of
generative machine learning techniques that have shown great performance in
many tasks. Like associative memory systems, these networks define a dynamical
system that converges to a set of target states. In this work we show that
generative diffusion models can be interpreted as energy-based models and that,
when trained on discrete patterns, their energy function is (asymptotically)
identical to that of modern Hopfield networks. This equivalence allows us to
interpret the supervised training of diffusion models as a synaptic learning
process that encodes the associative dynamics of a modern Hopfield network in
the weight structure of a deep neural network. Leveraging this connection, we
formulate a generalized framework for understanding the formation of long-term
memory, where creative generation and memory recall can be seen as parts of a
unified continuum.
- Abstract（参考訳）: 長期記憶のメカニズムを明らかにすることは、神経科学と人工知能の最も興味深い問題のひとつだ。
人工連想記憶ネットワークは生物記憶の重要な側面を形式化するために用いられてきた。
生成拡散モデル(generative diffusion model)は、多くのタスクで優れたパフォーマンスを示す生成機械学習技術の一種である。
連想記憶系と同様に、これらのネットワークは対象状態の集合に収束する力学系を定義する。
本研究では,生成拡散モデルをエネルギーベースモデルとして解釈し,離散的パターンで学習すると,そのエネルギー関数は(漸近的に)現代のホップフィールドネットワークと同一であることを示す。
この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
この接続を利用して、創造的生成と記憶再生を統一連続体の一部と見なすことができる長期記憶の形成を理解するための一般化された枠組みを定式化する。
関連論文リスト
- Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。
大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。
学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
論文 参考訳（メタデータ） (2024-11-26T14:48:25Z) - Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
Dense Associative Memoriesはホップフィールドネットワークの高容量版である。
このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:10:57Z) - Sequential Learning in the Dense Associative Memory [1.2289361708127877]
逐次学習問題におけるDense Associative Memoryの性能について検討する。
本稿では,既存の逐次学習手法をDense Associative Memoryに適用し,逐次学習性能を向上させることを提案する。
論文 参考訳（メタデータ） (2024-09-24T04:23:00Z) - Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。
データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
論文 参考訳（メタデータ） (2024-09-13T17:54:41Z) - Explosive neural networks via higher-order interactions in curved statistical manifolds [43.496401697112695]
我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。
これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
論文 参考訳（メタデータ） (2024-08-05T09:10:29Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Slow manifolds in recurrent networks encode working memory efficiently
and robustly [0.0]
ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能である。
作業メモリのネットワークレベルメカニズムを調べるために,トップダウンモデリング手法を用いる。
論文 参考訳（メタデータ） (2021-01-08T18:47:02Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z) - Large Associative Memory Problem in Neurobiology and Machine Learning [6.41804410246642]
本稿では,生物的妥当性の度合いを指標とした,大きな連想記憶の有効なモデルを提案する。
我々のネットワークの力学と、その縮小次元等価性はともにエネルギー(リアプノフ)関数を最小化する。
論文 参考訳（メタデータ） (2020-08-16T21:03:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。