論文の概要: Kernel Memory Networks: A Unifying Framework for Memory Modeling
- arxiv url: http://arxiv.org/abs/2208.09416v1
- Date: Fri, 19 Aug 2022 16:01:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 16:55:36.480296
- Title: Kernel Memory Networks: A Unifying Framework for Memory Modeling
- Title(参考訳): Kernel Memory Networks: メモリモデリングのための統一フレームワーク
- Authors: Georgios Iatropoulos, Johanni Brea, Wulfram Gerstner
- Abstract要約: 我々は、ニューラルネットワークをトレーニングして、最大ノイズロバスト性を持つパターンの集合を格納する問題を考察する。
解は、各ニューロンにカーネル分類または最小重量ノルムの実行を訓練することで導出される。
カネルバのモデルを一般化し、指数関数的な連続値パターンを格納できるカーネルメモリネットワークを設計する簡単な方法を示す。
- 参考スコア(独自算出の注目度): 4.849550522970841
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of training a neural network to store a set of
patterns with maximal noise robustness. A solution, in terms of optimal weights
and state update rules, is derived by training each individual neuron to
perform either kernel classification or interpolation with a minimum weight
norm. By applying this method to feed-forward and recurrent networks, we derive
optimal networks that include, as special cases, many of the hetero- and
auto-associative memory models that have been proposed over the past years,
such as modern Hopfield networks and Kanerva's sparse distributed memory. We
generalize Kanerva's model and demonstrate a simple way to design a kernel
memory network that can store an exponential number of continuous-valued
patterns with a finite basin of attraction. The framework of kernel memory
networks offers a simple and intuitive way to understand the storage capacity
of previous memory models, and allows for new biological interpretations in
terms of dendritic non-linearities and synaptic clustering.
- Abstract(参考訳): 我々は、ニューラルネットワークをトレーニングして、最大ノイズロバスト性を持つパターンの集合を格納する問題を考察する。
最適重みと状態更新規則の観点から解は、カーネル分類または最小重みノルムによる補間を実行するために各ニューロンを訓練することによって導出される。
この手法をフィードフォワードおよびリカレントネットワークに適用することにより、現代のホップフィールドネットワークやkanervaのスパース分散メモリなど、近年提案されているヘテロおよび自己結合型メモリモデルの多くを含む最適なネットワークを導出する。
カネルバのモデルを一般化し、有限のアトラクションベースを持つ指数関数的な連続値パターンを格納できるカーネルメモリネットワークを設計する簡単な方法を示す。
カーネルメモリネットワークのフレームワークは、以前のメモリモデルのストレージ容量を理解するためのシンプルで直感的な方法を提供し、樹状非線形性とシナプスクラスタリングの観点から新しい生物学的解釈を可能にする。
関連論文リスト
- Generative Neural Fields by Mixtures of Neural Implicit Functions [43.27461391283186]
本稿では,暗黙的ベースネットワークの線形結合によって表現される生成的ニューラルネットワークを学習するための新しいアプローチを提案する。
提案アルゴリズムは,メタラーニングや自動デコーディングのパラダイムを採用することにより,暗黙のニューラルネットワーク表現とその係数を潜在空間で学習する。
論文 参考訳(メタデータ) (2023-10-30T11:41:41Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳(メタデータ) (2022-11-26T07:41:48Z) - Recurrent neural networks that generalize from examples and optimize by
dreaming [0.0]
オンライン学習のためのHebbの処方則に従って,ニューロン間のペア結合が構築される一般化されたホップフィールドネットワークを導入する。
ネットワークエクスペリエンスは、パターン毎にノイズの多いサンプルのサンプルで構成されたデータセットに過ぎません。
注目すべきは、睡眠メカニズムが常に正しく一般化するために必要なデータセットサイズを著しく削減することです。
論文 参考訳(メタデータ) (2022-04-17T08:40:54Z) - Neural Computing with Coherent Laser Networks [0.0]
レーザーのコヒーレントなネットワークは、創発的なニューラルコンピューティング能力を示すことを示す。
新たなエネルギーベースのリカレントニューラルネットワークは、ホップフィールドネットワークやボルツマンマシンとは対照的に、連続したデータを処理している。
論文 参考訳(メタデータ) (2022-04-05T13:56:34Z) - Universal Hopfield Networks: A General Framework for Single-Shot
Associative Memory Models [41.58529335439799]
本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。
これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
論文 参考訳(メタデータ) (2022-02-09T16:48:06Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。