論文の概要: New Insights on Learning Rules for Hopfield Networks: Memory and
Objective Function Minimisation
- arxiv url: http://arxiv.org/abs/2010.01472v1
- Date: Sun, 4 Oct 2020 03:02:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 03:49:07.557952
- Title: New Insights on Learning Rules for Hopfield Networks: Memory and
Objective Function Minimisation
- Title（参考訳）: ホップフィールドネットワークの学習ルールに関する新たな視点:記憶と目的関数の最小化
- Authors: Pavel Tolmachev and Jonathan H. Manton
- Abstract要約: 各種コスト関数の降下型アルゴリズムとして学習規則を新たに検討する。
ホップフィールドネットワークにおける学習過程におけるバイアス(外部入力)の役割について論じる。
- 参考スコア（独自算出の注目度）: 1.7006003864727404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hopfield neural networks are a possible basis for modelling associative
memory in living organisms. After summarising previous studies in the field, we
take a new look at learning rules, exhibiting them as descent-type algorithms
for various cost functions. We also propose several new cost functions suitable
for learning. We discuss the role of biases (the external inputs) in the
learning process in Hopfield networks. Furthermore, we apply Newtons method for
learning memories, and experimentally compare the performances of various
learning rules. Finally, to add to the debate whether allowing connections of a
neuron to itself enhances memory capacity, we numerically investigate the
effects of self coupling.
Keywords: Hopfield Networks, associative memory, content addressable memory,
learning rules, gradient descent, attractor networks
- Abstract（参考訳）: ホップフィールドニューラルネットワークは、生物における連想記憶のモデル化の基盤となる。
この分野での過去の研究を要約した後、我々は学習規則を様々なコスト関数の降下型アルゴリズムとして示した。
また,学習に適した新たなコスト関数を提案する。
ホップフィールドネットワークにおける学習過程におけるバイアス(外部入力)の役割について論じる。
さらに,記憶学習にニュートン法を適用し,様々な学習規則の性能を実験的に比較した。
最後に,ニューロンの接続がメモリ容量を増大させるか否かを議論するために,自己結合の効果を数値的に検討する。
キーワード:ホップフィールドネットワーク、連想メモリ、コンテンツアドレスメモリ、学習ルール、勾配降下、アトラクタネットワーク
関連論文リスト
- Sequential Learning in the Dense Associative Memory [1.2289361708127877]
逐次学習問題におけるDense Associative Memoryの性能について検討する。
本稿では,既存の逐次学習手法をDense Associative Memoryに適用し,逐次学習性能を向上させることを提案する。
論文 参考訳（メタデータ） (2024-09-24T04:23:00Z) - Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。
一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。
我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
論文 参考訳（メタデータ） (2023-07-27T17:46:17Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳（メタデータ） (2022-10-17T20:15:24Z) - Benchmarking Compositionality with Formal Languages [64.09083307778951]
我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。
多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。
モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
論文 参考訳（メタデータ） (2022-08-17T10:03:18Z) - Biological learning in key-value memory networks [0.45880283710344055]
機械学習におけるメモリ拡張ニューラルネットワークは、一般的にキーバリューメカニズムを使用して、単一のステップでメモリを保存および読み出す。
本稿では,生物学的に妥当な3要素の可塑性規則の組み合わせを用いて入力を記憶する基本キー値メモリの実装を提案する。
本結果は,生物学的長期記憶のモデルとして,古典的なホップフィールドネットワークに代わる魅力的な代替手段であることを示唆している。
論文 参考訳（メタデータ） (2021-10-26T19:26:53Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - Finding online neural update rules by learning to remember [3.295767453921912]
神経活動(身体)と重み(シナプス)をスクラッチから学習する。
異なるニューロンタイプは異なる埋め込みベクターによって表現され、同じ2つの関数を全てのニューロンに使用することができる。
短期的なバックプロパゲーションを用いてこの目的を訓練し、異なるネットワークタイプと問題の難易度の両方の関数として性能を解析する。
論文 参考訳（メタデータ） (2020-03-06T10:31:30Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。