論文の概要: Online Training of Hopfield Networks using Predictive Coding

• arxiv url: http://arxiv.org/abs/2406.14723v1
• Date: Thu, 20 Jun 2024 20:38:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 17:31:15.462225
• Title: Online Training of Hopfield Networks using Predictive Coding
• Title（参考訳）: 予測符号化を用いたホップフィールドネットワークのオンライン学習
• Authors: Ehsan Ganjidoost, Mallory Snow, Jeff Orchard,
• Abstract要約: 予測符号化(PC)は、生物学的に関連する方法で誤差の逆伝播を近似することが示されている。 PCモデルは、情報を双方向に渡すことで、より正確に脳を模倣する。 ニューラルネットワークのトレーニングにPC学習を直接適用したのはこれが初めてだ。
• 参考スコア（独自算出の注目度）: 0.1843404256219181
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neuroscience and Artificial Intelligence (AI) have progressed in tandem, each contributing to our understanding of the brain, and inspiring recent developments in biologically-plausible neural networks (NNs) and learning rules. Predictive coding (PC), and its learning rule, have been shown to approximate error backpropagation in a biologically relevant manner, with local weight updates that depend only on the activity of the pre- and post-synaptic neurons. Unlike traditional feedforward NNs where the flow of information goes in one direction, PC models mimic the brain more accurately by passing information bidirectionally: prediction in one direction, and correction/error in the other. PC models learn by clamping some neurons to target values and running the network to equilibrium. At equilibrium, the network calculates its own error gradients right at the location where they are used for weight updates. Traditional backprop requires the computation graph to be feedforward. However, the PC version of backprop does not have this requirement. Amazingly, no one has demonstrated the application of PC learning directly to recurrent neural networks (RNNs). Hopfield networks (HNs) are RNNs that implement a content-addressable memory, learning patterns (or ``memories'') that can be retrieved from partial or corrupted patterns. In this paper, we show that a HN can be trained using the PC learning rules without modification. To our knowledge, this is the first time PC learning has been applied directly to train a RNN, without the need to unroll it in time. Our results indicate that the PC-trained HNs behave like classical HNs.
• Abstract（参考訳）: 神経科学と人工知能(AI)は、それぞれが脳の理解に寄与し、生物学的に証明可能なニューラルネットワーク(NN)や学習規則の最近の発展に刺激を与えている。 予測符号化(PC)とその学習規則は、前シナプスニューロンと後シナプスニューロンの活動にのみ依存する局所的な重み付けによって、生物学的に関係のある方法で誤りのバックプロパゲーションを近似することが示されている。 情報の流れが一方向に流れる従来のフィードフォワードNNとは異なり、PCモデルは情報を双方向に渡すことで脳をより正確に模倣する。 PCモデルは、いくつかのニューロンを目標値にクランプし、ネットワークを平衡に実行することで学習する。 平衡時には、ネットワークは自身のエラー勾配を、重み更新に使用される位置で計算する。 従来のバックプロップでは、計算グラフをフィードフォワードにする必要がある。 しかし、バックプロップのPCバージョンは、この要件を持っていない。 驚くべきことに、PC学習をリカレントニューラルネットワーク(RNN)に直接適用する方法を実証する者はいない。 ホップフィールドネットワーク(HN)は、コンテンツ適応可能なメモリを実装したRNNであり、部分的または破損したパターンから取得できる学習パターン(または '`memories'')である。 本稿では,PC学習規則を変更せずにHNを学習できることを示す。 私たちの知る限り、PC学習がRNNのトレーニングに直接適用されたのはこれが初めてです。 その結果,PC学習したHNは古典的HNのように振る舞うことがわかった。

関連論文リスト

• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
  神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。 一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。 我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
  論文  参考訳（メタデータ） (2023-07-27T17:46:17Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。 本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。 我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
  論文  参考訳（メタデータ） (2022-11-10T08:32:13Z)
• Certified machine learning: A posteriori error estimation for physics-informed neural networks [0.0]
  PINNは、より小さなトレーニングセットに対して堅牢であることが知られ、より優れた一般化問題を導出し、より高速にトレーニングすることができる。 純粋にデータ駆動型ニューラルネットワークと比較してPINNを使うことは、トレーニング性能に好都合であるだけでなく、近似されたソリューションの品質に関する重要な情報を抽出できることを示す。
  論文  参考訳（メタデータ） (2022-03-31T14:23:04Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Tightening the Biological Constraints on Gradient-Based Predictive Coding [1.90365714903665]
  予測符号化(英: Predictive coding、PC)は、皮質機能の理論である。 本稿では,生物学的制約に適合する勾配型PCモデルを改良する。 修正PCネットワークは、修正されていないPCモデルやバックプロパゲーションで訓練されたネットワークと同様に、MNISTデータでも、あるいはほぼ同様に動作することを示す。
  論文  参考訳（メタデータ） (2021-04-30T17:56:00Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。