論文の概要: Kernel Memory Networks: A Unifying Framework for Memory Modeling
- arxiv url: http://arxiv.org/abs/2208.09416v1
- Date: Fri, 19 Aug 2022 16:01:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 16:55:36.480296
- Title: Kernel Memory Networks: A Unifying Framework for Memory Modeling
- Title（参考訳）: Kernel Memory Networks: メモリモデリングのための統一フレームワーク
- Authors: Georgios Iatropoulos, Johanni Brea, Wulfram Gerstner
- Abstract要約: 我々は、ニューラルネットワークをトレーニングして、最大ノイズロバスト性を持つパターンの集合を格納する問題を考察する。
解は、各ニューロンにカーネル分類または最小重量ノルムの実行を訓練することで導出される。
カネルバのモデルを一般化し、指数関数的な連続値パターンを格納できるカーネルメモリネットワークを設計する簡単な方法を示す。
- 参考スコア（独自算出の注目度）: 4.849550522970841
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of training a neural network to store a set of
patterns with maximal noise robustness. A solution, in terms of optimal weights
and state update rules, is derived by training each individual neuron to
perform either kernel classification or interpolation with a minimum weight
norm. By applying this method to feed-forward and recurrent networks, we derive
optimal networks that include, as special cases, many of the hetero- and
auto-associative memory models that have been proposed over the past years,
such as modern Hopfield networks and Kanerva's sparse distributed memory. We
generalize Kanerva's model and demonstrate a simple way to design a kernel
memory network that can store an exponential number of continuous-valued
patterns with a finite basin of attraction. The framework of kernel memory
networks offers a simple and intuitive way to understand the storage capacity
of previous memory models, and allows for new biological interpretations in
terms of dendritic non-linearities and synaptic clustering.
- Abstract（参考訳）: 我々は、ニューラルネットワークをトレーニングして、最大ノイズロバスト性を持つパターンの集合を格納する問題を考察する。
最適重みと状態更新規則の観点から解は、カーネル分類または最小重みノルムによる補間を実行するために各ニューロンを訓練することによって導出される。
この手法をフィードフォワードおよびリカレントネットワークに適用することにより、現代のホップフィールドネットワークやkanervaのスパース分散メモリなど、近年提案されているヘテロおよび自己結合型メモリモデルの多くを含む最適なネットワークを導出する。
カネルバのモデルを一般化し、有限のアトラクションベースを持つ指数関数的な連続値パターンを格納できるカーネルメモリネットワークを設計する簡単な方法を示す。
カーネルメモリネットワークのフレームワークは、以前のメモリモデルのストレージ容量を理解するためのシンプルで直感的な方法を提供し、樹状非線形性とシナプスクラスタリングの観点から新しい生物学的解釈を可能にする。
関連論文リスト
- Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
Dense Associative Memoriesはホップフィールドネットワークの高容量版である。
このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:10:57Z) - Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。
Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。
Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
論文 参考訳（メタデータ） (2024-01-08T18:59:31Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Recurrent neural networks that generalize from examples and optimize by
dreaming [0.0]
オンライン学習のためのHebbの処方則に従って,ニューロン間のペア結合が構築される一般化されたホップフィールドネットワークを導入する。
ネットワークエクスペリエンスは、パターン毎にノイズの多いサンプルのサンプルで構成されたデータセットに過ぎません。
注目すべきは、睡眠メカニズムが常に正しく一般化するために必要なデータセットサイズを著しく削減することです。
論文 参考訳（メタデータ） (2022-04-17T08:40:54Z) - Neural Computing with Coherent Laser Networks [0.0]
レーザーのコヒーレントなネットワークは、創発的なニューラルコンピューティング能力を示すことを示す。
新たなエネルギーベースのリカレントニューラルネットワークは、ホップフィールドネットワークやボルツマンマシンとは対照的に、連続したデータを処理している。
論文 参考訳（メタデータ） (2022-04-05T13:56:34Z) - Universal Hopfield Networks: A General Framework for Single-Shot
Associative Memory Models [41.58529335439799]
本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。
これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
論文 参考訳（メタデータ） (2022-02-09T16:48:06Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳（メタデータ） (2021-02-20T18:40:40Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。