論文の概要: Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation

• arxiv url: http://arxiv.org/abs/2005.04169v1
• Date: Wed, 29 Apr 2020 12:14:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 10:08:33.834706
• Title: Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation
• Title（参考訳）: 平衡伝播のための継続的軽量化と畳み込みアーキテクチャ
• Authors: Maxence Ernoult, Julie Grollier, Damien Querlioz, Yoshua Bengio, Benjamin Scellier
• Abstract要約: Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。 本稿では,方程式の簡易化,学習の高速化,CNNへのEP拡張を可能にするEPの離散時間定式化を提案する。 我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 69.87491240509485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Equilibrium Propagation (EP) is a biologically inspired alternative algorithm to backpropagation (BP) for training neural networks. It applies to RNNs fed by a static input x that settle to a steady state, such as Hopfield networks. EP is similar to BP in that in the second phase of training, an error signal propagates backwards in the layers of the network, but contrary to BP, the learning rule of EP is spatially local. Nonetheless, EP suffers from two major limitations. On the one hand, due to its formulation in terms of real-time dynamics, EP entails long simulation times, which limits its applicability to practical tasks. On the other hand, the biological plausibility of EP is limited by the fact that its learning rule is not local in time: the synapse update is performed after the dynamics of the second phase have converged and requires information of the first phase that is no longer available physically. Our work addresses these two issues and aims at widening the spectrum of EP from standard machine learning models to more bio-realistic neural networks. First, we propose a discrete-time formulation of EP which enables to simplify equations, speed up training and extend EP to CNNs. Our CNN model achieves the best performance ever reported on MNIST with EP. Using the same discrete-time formulation, we introduce Continual Equilibrium Propagation (C-EP): the weights of the network are adjusted continually in the second phase of training using local information in space and time. We show that in the limit of slow changes of synaptic strengths and small nudging, C-EP is equivalent to BPTT (Theorem 1). We numerically demonstrate Theorem 1 and C-EP training on MNIST and generalize it to the bio-realistic situation of a neural network with asymmetric connections between neurons.
• Abstract（参考訳）: Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。 これはホップフィールドネットワークのような定常状態に落ち着く静的入力xによって供給されるrnnに適用される。 EP は BP と似ており、トレーニングの第2段階では、エラー信号がネットワークの層内で後方に伝播するが、BP とは対照的に、EP の学習規則は空間的に局所的である。 しかし、epには2つの大きな制限がある。 一方、リアルタイム力学の定式化により、EPは長いシミュレーション時間を必要とするため、実用的タスクへの適用性が制限される。 一方,EPの生物学的妥当性は,第2相のダイナミクスが収束した後のシナプス更新を行い,物理的に利用できない第1相の情報を必要とするという,学習規則が局所的でないという事実によって制限される。 我々の研究は、これらの2つの問題に対処し、標準的な機械学習モデルからよりバイオリアリスティックなニューラルネットワークへのEPのスペクトルを広げることを目指している。 まず,方程式を単純化し,トレーニングを高速化し,epをcnnに拡張できるepの離散時間定式化を提案する。 我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。 同じ離散時間定式化を用いて連続平衡伝播(C-EP)を導入し,空間と時間における局所情報を用いたトレーニングの第2段階でネットワークの重みを継続的に調整する。 C-EPは, シナプス強度の緩やかな変化の限界においてBPTT(Theorem 1)と等価であることを示す。 mnist の定理 1 と c-ep のトレーニングを数値的に示し,ニューロン間の非対称な結合を持つニューラルネットワークのバイオリアリスティックな状況に一般化する。

関連論文リスト

• Scaling SNNs Trained Using Equilibrium Propagation to Convolutional Architectures [2.2146860305758485]
  平衡伝播(Equilibrium Propagation、EP)は、収束性リカレントニューラルネットワーク(RNN)のために開発された生物学的に妥当な局所学習アルゴリズムである。 EPは、BPTTによって訓練されるスパイキングニューラルネットワーク(SNN)をトレーニングする強力な候補である。 本稿では,EP を用いた畳み込みスパイク収束 RNN の訓練のための定式化を行い,スパイク収束 RNN と非スパイク収束 RNN とのギャップを埋める。
  論文  参考訳（メタデータ） (2024-05-04T03:06:14Z)
• ETLP: Event-based Three-factor Local Plasticity for online learning with neuromorphic hardware [105.54048699217668]
  イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。 また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
  論文  参考訳（メタデータ） (2023-01-19T19:45:42Z)
• Sequence Learning Using Equilibrium Propagation [2.3361887733755897]
  Equilibrium Propagation (EP) は、バックプロパゲーションのような従来の学習フレームワークに代わる、強力でより生物学的な代替手段である。 現代のホップフィールドネットワークにおける最近の発展を利用して、エネルギーベースモデルをさらに理解し、EPを用いた複雑なシーケンス分類タスクのためのソリューションを開発する。
  論文  参考訳（メタデータ） (2022-09-14T20:01:22Z)
• Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations [5.279475826661643]
  平衡伝播(Equilibrium propagation、EP)は、深層ニューラルネットワークの局所学習規則によるトレーニングを可能にするバックプロパゲーション(BP)の代替である。 この拡張が有限振幅の教示信号に対しても自然に正確な勾配をもたらすことを示す。 我々は、ImageNet 32x32データセット上でEPの最初のベンチマークを確立し、BPでトレーニングされた等価ネットワークの性能と一致することを示す。
  論文  参考訳（メタデータ） (2022-09-01T15:23:49Z)
• A Theoretical Framework for Inference and Learning in Predictive Coding Networks [41.58529335439799]
  予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-21T04:17:55Z)
• On the Convergence of Certified Robust Training with Interval Bound Propagation [147.77638840942447]
  IBPトレーニングの収束に関する理論的解析を行った。 IBPトレーニングを用いてランダムに2層ReLUニューラルネットワークをロジスティック損失でトレーニングする場合、勾配降下はゼロロバストトレーニングエラーに線形収束可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-16T21:49:13Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [62.43908463620527]
  実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。 我々は、有限なヌーディングの使用に固有のEPの勾配推定のバイアスがこの現象に責任があることを示しています。 これらの結果は、EPをディープニューラルネットワークにおける誤差勾配を計算するスケーラブルなアプローチとして強調し、ハードウェア実装を動機付けている。
  論文  参考訳（メタデータ） (2021-01-14T10:23:40Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Equilibrium Propagation with Continual Weight Updates [69.87491240509485]
  時間によるバックプロパゲーション(BPTT)と密接に一致する勾配を計算し、機械学習と神経科学を橋渡しする学習アルゴリズムを提案する。 理論的には、学習速度が十分に小さい場合、第2相の各段階において、BPTTが与える損失の勾配に従ってニューロンとシナプスのダイナミクスが従うことを証明している。 これらの結果からEPは,後方伝播との親密な関係を維持しつつ,ハードウェアの制約に順応し,生物学に一歩近づいた。
  論文  参考訳（メタデータ） (2020-04-29T14:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。