論文の概要: In search of dispersed memories: Generative diffusion models are
associative memory networks
- arxiv url: http://arxiv.org/abs/2309.17290v1
- Date: Fri, 29 Sep 2023 14:48:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 13:13:01.518024
- Title: In search of dispersed memories: Generative diffusion models are
associative memory networks
- Title(参考訳): 分散メモリ探索における生成拡散モデルは連想記憶ネットワークである
- Authors: Luca Ambrogioni
- Abstract要約: 生成拡散モデルはエネルギーベースモデルと解釈でき、離散パターンで訓練すると、それらのエネルギー関数は現在のホップフィールドネットワークと等価であることを示す。
本研究は, 生成モデルと記憶理論の神経科学とを強く関連づけるものである。
- 参考スコア(独自算出の注目度): 6.4322891559626125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hopfield networks are widely used in neuroscience as simplified theoretical
models of biological associative memory. The original Hopfield networks store
memories by encoding patterns of binary associations, which result in a
synaptic learning mechanism known as Hebbian learning rule. Modern Hopfield
networks can achieve exponential capacity scaling by using highly non-linear
energy functions. However, the energy function of these newer models cannot be
straightforwardly compressed into binary synaptic couplings and it does not
directly provide new synaptic learning rules. In this work we show that
generative diffusion models can be interpreted as energy-based models and that,
when trained on discrete patterns, their energy function is equivalent to that
of modern Hopfield networks. This equivalence allows us to interpret the
supervised training of diffusion models as a synaptic learning process that
encodes the associative dynamics of a modern Hopfield network in the weight
structure of a deep neural network. Accordingly, in our experiments we show
that the storage capacity of a continuous modern Hopfield network is identical
to the capacity of a diffusion model. Our results establish a strong link
between generative modeling and the theoretical neuroscience of memory, which
provide a powerful computational foundation for the reconstructive theory of
memory, where creative generation and memory recall can be seen as parts of a
unified continuum.
- Abstract(参考訳): ホップフィールドネットワークは、生物学的連想記憶の理論モデルとして神経科学で広く使われている。
オリジナルのホプフィールドネットワークは、二元関係のパターンを符号化することで記憶を保存し、その結果、ヘビアン学習規則として知られるシナプス学習機構が生まれる。
現代のホップフィールドネットワークは、高非線形エネルギー関数を用いて指数的な容量スケーリングを実現することができる。
しかし、これらの新しいモデルのエネルギー関数は直接バイナリシナプス結合に圧縮されず、新しいシナプス学習規則を直接提供しない。
本研究では,生成拡散モデルをエネルギーベースモデルとして解釈し,離散的パターンで学習すると,それらのエネルギー関数は現代のホップフィールドネットワークと等価であることを示す。
この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
そこで本実験では,連続的なホップフィールドネットワークのストレージ容量が拡散モデルの容量と同一であることを示す。
本研究は,創造的生成と記憶記憶の想起を統一連続体の一部と見なすことのできる,記憶の再構成理論のための強力な計算基盤を提供する。
関連論文リスト
- Demolition and Reinforcement of Memories in Spin-Glass-like Neural
Networks [0.0]
この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。
構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。
Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
論文 参考訳(メタデータ) (2024-03-04T23:12:42Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳(メタデータ) (2022-10-17T20:15:24Z) - Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural
Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。
我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。
CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文 参考訳(メタデータ) (2022-04-05T17:13:36Z) - Universal Hopfield Networks: A General Framework for Single-Shot
Associative Memory Models [41.58529335439799]
本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。
これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
論文 参考訳(メタデータ) (2022-02-09T16:48:06Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Biological learning in key-value memory networks [0.45880283710344055]
機械学習におけるメモリ拡張ニューラルネットワークは、一般的にキーバリューメカニズムを使用して、単一のステップでメモリを保存および読み出す。
本稿では,生物学的に妥当な3要素の可塑性規則の組み合わせを用いて入力を記憶する基本キー値メモリの実装を提案する。
本結果は,生物学的長期記憶のモデルとして,古典的なホップフィールドネットワークに代わる魅力的な代替手段であることを示唆している。
論文 参考訳(メタデータ) (2021-10-26T19:26:53Z) - Towards a Predictive Processing Implementation of the Common Model of
Cognition [79.63867412771461]
本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。
提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
論文 参考訳(メタデータ) (2021-05-15T22:55:23Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2021-02-22T17:33:51Z) - Slow manifolds in recurrent networks encode working memory efficiently
and robustly [0.0]
ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能である。
作業メモリのネットワークレベルメカニズムを調べるために,トップダウンモデリング手法を用いる。
論文 参考訳(メタデータ) (2021-01-08T18:47:02Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - Large Associative Memory Problem in Neurobiology and Machine Learning [6.41804410246642]
本稿では,生物的妥当性の度合いを指標とした,大きな連想記憶の有効なモデルを提案する。
我々のネットワークの力学と、その縮小次元等価性はともにエネルギー(リアプノフ)関数を最小化する。
論文 参考訳(メタデータ) (2020-08-16T21:03:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。