論文の概要: A Sparse Quantized Hopfield Network for Online-Continual Memory
- arxiv url: http://arxiv.org/abs/2307.15040v1
- Date: Thu, 27 Jul 2023 17:46:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 13:33:05.880816
- Title: A Sparse Quantized Hopfield Network for Online-Continual Memory
- Title（参考訳）: オンライン連続記憶のためのスパース量子ホップフィールドネットワーク
- Authors: Nick Alonso and Jeff Krichmar
- Abstract要約: 神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。
一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。
我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An important difference between brains and deep neural networks is the way
they learn. Nervous systems learn online where a stream of noisy data points
are presented in a non-independent, identically distributed (non-i.i.d.) way.
Further, synaptic plasticity in the brain depends only on information local to
synapses. Deep networks, on the other hand, typically use non-local learning
algorithms and are trained in an offline, non-noisy, i.i.d. setting.
Understanding how neural networks learn under the same constraints as the brain
is an open problem for neuroscience and neuromorphic computing. A standard
approach to this problem has yet to be established. In this paper, we propose
that discrete graphical models that learn via an online maximum a posteriori
learning algorithm could provide such an approach. We implement this kind of
model in a novel neural network called the Sparse Quantized Hopfield Network
(SQHN). We show that SQHNs outperform state-of-the-art neural networks on
associative memory tasks, outperform these models in online, non-i.i.d.
settings, learn efficiently with noisy inputs, and are better than baselines on
a novel episodic memory task.
- Abstract（参考訳）: 脳とディープニューラルネットワークの重要な違いは、学習方法である。
神経系は、ノイズのあるデータポイントのストリームが非独立で同じ分散(非i.i.d.)方法で提示されるオンラインで学習する。
さらに、脳のシナプス可塑性はシナプスに関連する情報にのみ依存する。
一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。
ニューラルネットワークが脳と同じ制約の下でどのように学習するかを理解することは、神経科学とニューロモルフィックコンピューティングのオープンな問題である。
この問題に対する標準的なアプローチはまだ確立されていない。
本稿では,オンラインの最大後進学習アルゴリズムを用いて学習する離散グラフィカルモデルが,そのようなアプローチを提供できることを示す。
我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
我々は、SQHNが、連想メモリタスクにおける最先端のニューラルネットワークより優れており、オンラインの設定ではこれらのモデルより優れており、ノイズの多い入力で効率的に学習し、新しいエピソードメモリタスクのベースラインよりも優れていることを示す。
関連論文リスト
- Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - How and what to learn:The modes of machine learning [7.085027463060304]
本稿では, 重み経路解析(WPA)と呼ばれる新しい手法を提案し, 多層ニューラルネットワークのメカニズムについて検討する。
WPAは、ニューラルネットワークが情報を「ホログラフィック」な方法で保存し、活用していることを示し、ネットワークはすべてのトレーニングサンプルをコヒーレントな構造にエンコードする。
隠れた層状ニューロンは学習過程の後半で異なるクラスに自己組織化することが判明した。
論文 参考訳（メタデータ） (2022-02-28T14:39:06Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。
具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。
我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
論文 参考訳（メタデータ） (2020-10-22T17:56:59Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z) - Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。
LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。
実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
論文 参考訳（メタデータ） (2020-07-12T23:45:51Z) - Interaction Networks: Using a Reinforcement Learner to train other
Machine Learning algorithms [0.0]
脳内のニューロンの配線は、現代の人工ニューラルネットワークにおける接続の配線よりも柔軟である。
インタラクションネットワークは、従来のニューラルネットワークのコレクション、メモリ位置のセット、強化学習者で構成される。
論文 参考訳（メタデータ） (2020-06-15T15:03:53Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。