Fugu-MT 論文翻訳(概要): Large Associative Memory Problem in Neurobiology and Machine Learning

論文の概要: Large Associative Memory Problem in Neurobiology and Machine Learning

arxiv url: http://arxiv.org/abs/2008.06996v3
Date: Tue, 27 Apr 2021 22:20:05 GMT
ステータス: 処理完了
システム内更新日: 2022-10-28 08:58:00.283107
Title: Large Associative Memory Problem in Neurobiology and Machine Learning
Title（参考訳）: 神経生物学と機械学習における大規模連想記憶問題
Authors: Dmitry Krotov, John Hopfield
Abstract要約: 本稿では,生物的妥当性の度合いを指標とした,大きな連想記憶の有効なモデルを提案する。我々のネットワークの力学と、その縮小次元等価性はともにエネルギー(リアプノフ)関数を最小化する。
参考スコア（独自算出の注目度）: 6.41804410246642
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Dense Associative Memories or modern Hopfield networks permit storage and reliable retrieval of an exponentially large (in the dimension of feature space) number of memories. At the same time, their naive implementation is non-biological, since it seemingly requires the existence of many-body synaptic junctions between the neurons. We show that these models are effective descriptions of a more microscopic (written in terms of biological degrees of freedom) theory that has additional (hidden) neurons and only requires two-body interactions between them. For this reason our proposed microscopic theory is a valid model of large associative memory with a degree of biological plausibility. The dynamics of our network and its reduced dimensional equivalent both minimize energy (Lyapunov) functions. When certain dynamical variables (hidden neurons) are integrated out from our microscopic theory, one can recover many of the models that were previously discussed in the literature, e.g. the model presented in "Hopfield Networks is All You Need" paper. We also provide an alternative derivation of the energy function and the update rule proposed in the aforementioned paper and clarify the relationships between various models of this class.
Abstract（参考訳）: デンス連想記憶(Dense Associative Memories)または現代のホップフィールドネットワーク(Hopfield network)は、指数関数的に大きな(特徴空間の次元における)メモリ数の記憶と信頼性の高い検索を可能にする。同時に、ニューロン間の多体シナプス結合の存在を必要とするように見えるため、そのナイーブな実装は非生物学的である。これらのモデルは(生物学的自由度という観点で記述された)より微視的な理論の効果的な記述であり、追加の(隠れた)ニューロンを持ち、それらの間の2体相互作用のみを必要とする。このことから,提案する微視的理論は,生体的可能性の程度の大きな連想記憶の有効なモデルである。ネットワークのダイナミクスとその縮小次元等価性はエネルギー(リアプノフ)を最小化する。特定の動的変数(隠れニューロン)が顕微鏡理論から統合されると、「ホップフィールド・ネットワークはAll You Need」論文で示されたモデルなど、これまで文献で議論されていたモデルの多くを復元することができる。また、上記の論文で提案したエネルギー関数と更新規則の代替的導出を行い、このクラスの様々なモデル間の関係を明らかにする。

関連論文リスト

Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
論文参考訳（メタデータ） (2024-11-26T14:48:25Z)
Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
Dense Associative Memoriesはホップフィールドネットワークの高容量版である。このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
論文参考訳（メタデータ） (2024-10-31T17:10:57Z)
Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
論文参考訳（メタデータ） (2024-10-08T17:41:37Z)
MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文参考訳（メタデータ） (2024-04-11T15:46:42Z)
Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文参考訳（メタデータ） (2024-02-26T15:01:54Z)
Bridging Associative Memory and Probabilistic Modeling [29.605203018237457]
連想記憶と確率的モデリングは人工知能の2つの基本的なトピックである。両方向のアイデアの有用なフローを実現するために,この2つの橋を架けています。
論文参考訳（メタデータ） (2024-02-15T18:56:46Z)
In search of dispersed memories: Generative diffusion models are associative memory networks [6.4322891559626125]
生成拡散モデル(Generative diffusion model)は、多くのタスクにおいて優れたパフォーマンスを示す生成機械学習技術の一種である。生成拡散モデルはエネルギーベースモデルと解釈でき、離散パターンで訓練すると、それらのエネルギー関数は現在のホップフィールドネットワークと同一であることを示す。この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
論文参考訳（メタデータ） (2023-09-29T14:48:24Z)
The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文参考訳（メタデータ） (2023-06-14T13:34:13Z)
Cones: Concept Neurons in Diffusion Models for Customized Generation [41.212255848052514]
本稿では,特定の対象に対応する拡散モデルにおいて,ニューロンの小さな集合を見出す。概念ニューロンは、生成結果の解釈と操作において磁気特性を示す。大規模な応用においては、ニューロンは環境に優しいため、密度の高いfloat32値ではなく、sparseクラスタのintインデックスを格納するだけである。
論文参考訳（メタデータ） (2023-03-09T09:16:04Z)
Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文参考訳（メタデータ） (2022-04-05T17:13:36Z)
Hierarchical Associative Memory [2.66512000865131]
Associative Memories や Modern Hopfield Networks は、多くの魅力的な特性を持っている。パターン補完を行い、多数のメモリを格納し、リカレントニューラルネットワークを使用して記述することができる。本稿では,任意の数のレイヤを持つ連想メモリの完全再帰モデルについて述べる。
論文参考訳（メタデータ） (2021-07-14T01:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。