論文の概要: Equilibrium Propagation with Continual Weight Updates

• arxiv url: http://arxiv.org/abs/2005.04168v1
• Date: Wed, 29 Apr 2020 14:54:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 10:09:03.948994
• Title: Equilibrium Propagation with Continual Weight Updates
• Title（参考訳）: 連続重み更新による平衡伝播
• Authors: Maxence Ernoult, Julie Grollier, Damien Querlioz, Yoshua Bengio, Benjamin Scellier
• Abstract要約: 時間によるバックプロパゲーション(BPTT)と密接に一致する勾配を計算し、機械学習と神経科学を橋渡しする学習アルゴリズムを提案する。 理論的には、学習速度が十分に小さい場合、第2相の各段階において、BPTTが与える損失の勾配に従ってニューロンとシナプスのダイナミクスが従うことを証明している。 これらの結果からEPは,後方伝播との親密な関係を維持しつつ,ハードウェアの制約に順応し,生物学に一歩近づいた。
• 参考スコア（独自算出の注目度）: 69.87491240509485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Equilibrium Propagation (EP) is a learning algorithm that bridges Machine Learning and Neuroscience, by computing gradients closely matching those of Backpropagation Through Time (BPTT), but with a learning rule local in space. Given an input $x$ and associated target $y$, EP proceeds in two phases: in the first phase neurons evolve freely towards a first steady state; in the second phase output neurons are nudged towards $y$ until they reach a second steady state. However, in existing implementations of EP, the learning rule is not local in time: the weight update is performed after the dynamics of the second phase have converged and requires information of the first phase that is no longer available physically. In this work, we propose a version of EP named Continual Equilibrium Propagation (C-EP) where neuron and synapse dynamics occur simultaneously throughout the second phase, so that the weight update becomes local in time. Such a learning rule local both in space and time opens the possibility of an extremely energy efficient hardware implementation of EP. We prove theoretically that, provided the learning rates are sufficiently small, at each time step of the second phase the dynamics of neurons and synapses follow the gradients of the loss given by BPTT (Theorem 1). We demonstrate training with C-EP on MNIST and generalize C-EP to neural networks where neurons are connected by asymmetric connections. We show through experiments that the more the network updates follows the gradients of BPTT, the best it performs in terms of training. These results bring EP a step closer to biology by better complying with hardware constraints while maintaining its intimate link with backpropagation.
• Abstract（参考訳）: Equilibrium Propagation (EP) は、時間によるバックプロパゲーション(BPTT)と密接に一致する勾配を計算することによって、機械学習と神経科学を橋渡しする学習アルゴリズムである。 入力$x$と関連するターゲット$y$が与えられたとき、EPは2つのフェーズで進行し、第1相のニューロンは第1相の定常状態に向かって自由に進化し、第2相の出力ニューロンは第2相の定常状態に達するまで$y$に誘導される。 しかし、EPの既存の実装では、学習規則は時間的に局所的ではなく、第2フェーズのダイナミクスが収束した後、重み更新が行われ、物理的に利用できない第1フェーズの情報が必要となる。 そこで本研究では,第2相を通してニューロンとシナプスのダイナミクスが同時に発生し,重みの更新が時間とともに局所的になる,連続平衡伝播(c-ep)というepモデルを提案する。 このような学習規則は空間と時間の両方で局所的に存在し、EPの極めてエネルギー効率の良いハードウェア実装の可能性を開く。 理論的には、学習速度が十分に小さい場合、第2相の各段階において、BPTT(Theorem 1)が与える損失の勾配に従ってニューロンとシナプスのダイナミクスが従うことを証明している。 我々は、MNIST上でC-EPでトレーニングを行い、C-EPを非対称接続で接続されたニューラルネットワークに一般化する。 実験を通して、ネットワーク更新がBPTTの勾配に従えばなるほど、トレーニングの面で最高の結果が得られることを示す。 これらの結果からEPは,後方伝播との親密な関係を維持しつつ,ハードウェアの制約に順応し,生物学に一歩近づいた。

関連論文リスト

• Contribute to balance, wire in accordance: Emergence of backpropagation from a simple, bio-plausible neuroplasticity rule [0.0]
  我々は,脳にBPを実装するための潜在的なメカニズムを提供する新しい神経可塑性規則を導入する。 我々は,我々の学習規則が階層型ニューラルネットワークのBPを近似なしで正確に再現できることを数学的に証明した。
  論文  参考訳（メタデータ） (2024-05-23T03:28:52Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Dual Propagation: Accelerating Contrastive Hebbian Learning with Dyadic Neurons [15.147172044848798]
  本稿では,2つの内在状態を持つダイアドを各ニューロンが有する2重伝搬という,単純なエネルギーベース複合ニューロンモデルを提案する。 この手法の利点は、1つの推論フェーズしか必要とせず、レイヤーワイド閉形式で推論を解くことができることである。 実験では、Imagenet32x32を含む一般的なコンピュータビジョンデータセットにおいて、二重伝搬がバックプロパゲーションと等価であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T17:07:36Z)
• ETLP: Event-based Three-factor Local Plasticity for online learning with neuromorphic hardware [105.54048699217668]
  イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。 また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
  論文  参考訳（メタデータ） (2023-01-19T19:45:42Z)
• Sequence Learning Using Equilibrium Propagation [2.3361887733755897]
  Equilibrium Propagation (EP) は、バックプロパゲーションのような従来の学習フレームワークに代わる、強力でより生物学的な代替手段である。 現代のホップフィールドネットワークにおける最近の発展を利用して、エネルギーベースモデルをさらに理解し、EPを用いた複雑なシーケンス分類タスクのためのソリューションを開発する。
  論文  参考訳（メタデータ） (2022-09-14T20:01:22Z)
• Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations [5.279475826661643]
  平衡伝播(Equilibrium propagation、EP)は、深層ニューラルネットワークの局所学習規則によるトレーニングを可能にするバックプロパゲーション(BP)の代替である。 この拡張が有限振幅の教示信号に対しても自然に正確な勾配をもたらすことを示す。 我々は、ImageNet 32x32データセット上でEPの最初のベンチマークを確立し、BPでトレーニングされた等価ネットワークの性能と一致することを示す。
  論文  参考訳（メタデータ） (2022-09-01T15:23:49Z)
• Spherical Motion Dynamics: Learning Dynamics of Neural Network with Normalization, Weight Decay, and SGD [105.99301967452334]
  SMD (Spherical Motion Dynamics) と名付けられた, 正規化, 重崩壊 (WD) , SGD (運動量) を伴うニューラルネットワークの学習力学について述べる。 我々は,ImageNet や MSCOCO など様々なコンピュータビジョンタスクにおける仮定と理論的結果を標準設定で検証する。
  論文  参考訳（メタデータ） (2020-06-15T14:16:33Z)
• Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation [69.87491240509485]
  Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。 本稿では,方程式の簡易化,学習の高速化,CNNへのEP拡張を可能にするEPの離散時間定式化を提案する。 我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-29T12:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。