論文の概要: In search of dispersed memories: Generative diffusion models are
associative memory networks
- arxiv url: http://arxiv.org/abs/2309.17290v1
- Date: Fri, 29 Sep 2023 14:48:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 13:13:01.518024
- Title: In search of dispersed memories: Generative diffusion models are
associative memory networks
- Title（参考訳）: 分散メモリ探索における生成拡散モデルは連想記憶ネットワークである
- Authors: Luca Ambrogioni
- Abstract要約: 生成拡散モデルはエネルギーベースモデルと解釈でき、離散パターンで訓練すると、それらのエネルギー関数は現在のホップフィールドネットワークと等価であることを示す。
本研究は, 生成モデルと記憶理論の神経科学とを強く関連づけるものである。
- 参考スコア（独自算出の注目度）: 6.4322891559626125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hopfield networks are widely used in neuroscience as simplified theoretical
models of biological associative memory. The original Hopfield networks store
memories by encoding patterns of binary associations, which result in a
synaptic learning mechanism known as Hebbian learning rule. Modern Hopfield
networks can achieve exponential capacity scaling by using highly non-linear
energy functions. However, the energy function of these newer models cannot be
straightforwardly compressed into binary synaptic couplings and it does not
directly provide new synaptic learning rules. In this work we show that
generative diffusion models can be interpreted as energy-based models and that,
when trained on discrete patterns, their energy function is equivalent to that
of modern Hopfield networks. This equivalence allows us to interpret the
supervised training of diffusion models as a synaptic learning process that
encodes the associative dynamics of a modern Hopfield network in the weight
structure of a deep neural network. Accordingly, in our experiments we show
that the storage capacity of a continuous modern Hopfield network is identical
to the capacity of a diffusion model. Our results establish a strong link
between generative modeling and the theoretical neuroscience of memory, which
provide a powerful computational foundation for the reconstructive theory of
memory, where creative generation and memory recall can be seen as parts of a
unified continuum.
- Abstract（参考訳）: ホップフィールドネットワークは、生物学的連想記憶の理論モデルとして神経科学で広く使われている。
オリジナルのホプフィールドネットワークは、二元関係のパターンを符号化することで記憶を保存し、その結果、ヘビアン学習規則として知られるシナプス学習機構が生まれる。
現代のホップフィールドネットワークは、高非線形エネルギー関数を用いて指数的な容量スケーリングを実現することができる。
しかし、これらの新しいモデルのエネルギー関数は直接バイナリシナプス結合に圧縮されず、新しいシナプス学習規則を直接提供しない。
本研究では,生成拡散モデルをエネルギーベースモデルとして解釈し,離散的パターンで学習すると,それらのエネルギー関数は現代のホップフィールドネットワークと等価であることを示す。
この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
そこで本実験では,連続的なホップフィールドネットワークのストレージ容量が拡散モデルの容量と同一であることを示す。
本研究は,創造的生成と記憶記憶の想起を統一連続体の一部と見なすことのできる,記憶の再構成理論のための強力な計算基盤を提供する。
関連論文リスト
- Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。
大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。
学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
論文 参考訳（メタデータ） (2024-11-26T14:48:25Z) - Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
Dense Associative Memoriesはホップフィールドネットワークの高容量版である。
このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:10:57Z) - Sequential Learning in the Dense Associative Memory [1.2289361708127877]
逐次学習問題におけるDense Associative Memoryの性能について検討する。
本稿では,既存の逐次学習手法をDense Associative Memoryに適用し,逐次学習性能を向上させることを提案する。
論文 参考訳（メタデータ） (2024-09-24T04:23:00Z) - Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。
データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
論文 参考訳（メタデータ） (2024-09-13T17:54:41Z) - Explosive neural networks via higher-order interactions in curved statistical manifolds [43.496401697112695]
我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。
これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
論文 参考訳（メタデータ） (2024-08-05T09:10:29Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Slow manifolds in recurrent networks encode working memory efficiently
and robustly [0.0]
ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能である。
作業メモリのネットワークレベルメカニズムを調べるために,トップダウンモデリング手法を用いる。
論文 参考訳（メタデータ） (2021-01-08T18:47:02Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z) - Large Associative Memory Problem in Neurobiology and Machine Learning [6.41804410246642]
本稿では,生物的妥当性の度合いを指標とした,大きな連想記憶の有効なモデルを提案する。
我々のネットワークの力学と、その縮小次元等価性はともにエネルギー(リアプノフ)関数を最小化する。
論文 参考訳（メタデータ） (2020-08-16T21:03:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。