論文の概要: Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations

• arxiv url: http://arxiv.org/abs/2209.00530v1
• Date: Thu, 1 Sep 2022 15:23:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 13:16:08.838945
• Title: Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations
• Title（参考訳）: 有限サイズ振動による等方性平衡伝播計算
• Authors: Axel Laborieux, Friedemann Zenke
• Abstract要約: 平衡伝播(Equilibrium propagation、EP)は、深層ニューラルネットワークの局所学習規則によるトレーニングを可能にするバックプロパゲーション(BP)の代替である。 この拡張が有限振幅の教示信号に対しても自然に正確な勾配をもたらすことを示す。 我々は、ImageNet 32x32データセット上でEPの最初のベンチマークを確立し、BPでトレーニングされた等価ネットワークの性能と一致することを示す。
• 参考スコア（独自算出の注目度）: 5.279475826661643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equilibrium propagation (EP) is an alternative to backpropagation (BP) that allows the training of deep neural networks with local learning rules. It thus provides a compelling framework for training neuromorphic systems and understanding learning in neurobiology. However, EP requires infinitesimal teaching signals, thereby limiting its applicability in noisy physical systems. Moreover, the algorithm requires separate temporal phases and has not been applied to large-scale problems. Here we address these issues by extending EP to holomorphic networks. We show analytically that this extension naturally leads to exact gradients even for finite-amplitude teaching signals. Importantly, the gradient can be computed as the first Fourier coefficient from finite neuronal activity oscillations in continuous time without requiring separate phases. Further, we demonstrate in numerical simulations that our approach permits robust estimation of gradients in the presence of noise and that deeper models benefit from the finite teaching signals. Finally, we establish the first benchmark for EP on the ImageNet 32x32 dataset and show that it matches the performance of an equivalent network trained with BP. Our work provides analytical insights that enable scaling EP to large-scale problems and establishes a formal framework for how oscillations could support learning in biological and neuromorphic systems.
• Abstract（参考訳）: 平衡伝播(Equilibrium propagation、EP)は、深層ニューラルネットワークの局所学習規則によるトレーニングを可能にするバックプロパゲーション(BP)の代替である。 これにより、ニューロモーフィックシステムを訓練し、神経生物学における学習を理解するための魅力的な枠組みを提供する。 しかし、EPは無限小の教育信号を必要とするため、ノイズの多い物理系における適用性が制限される。 さらに,アルゴリズムには時間相の分離が必要であり,大規模問題には適用されていない。 ここでは、EPを正則ネットワークに拡張することで、これらの問題に対処する。 この拡張が有限振幅の教示信号に対しても自然に正確な勾配をもたらすことを示す。 重要なことに、勾配は有限個のニューロン活動振動から分離した位相を必要とせず、第1のフーリエ係数として連続時間で計算することができる。 さらに,提案手法が雑音の存在下での勾配のロバストな推定を可能にし,より深いモデルが有限指導信号の恩恵を受けることを数値シミュレーションで示す。 最後に、ImageNet 32x32データセット上でEPの最初のベンチマークを確立し、BPでトレーニングした等価ネットワークの性能と一致することを示す。 我々の研究は、EPを大規模問題に拡張できる分析的洞察を提供し、振動が生物学的およびニューロモルフィックシステムの学習をどのようにサポートするかの公式な枠組みを確立する。

関連論文リスト

• Bayesian Inference of Stochastic Dynamical Networks [0.0]
  本稿では,ネットワークトポロジと内部ダイナミクスを学習するための新しい手法を提案する。 グループスパースベイズ学習(GSBL)、BINGO、カーネルベースの方法、dynGENIE3、genIE3、ARNIと比較される。 本手法は,グループスパースベイズ学習 (GSBL), BINGO, kernel-based method, dynGENIE3, GENIE3, ARNI と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-06-02T03:22:34Z)
• Attaining entropy production and dissipation maps from Brownian movies via neural networks [0.0]
  エントロピー生成の定量化(EP)は、メソスコピックスケールのシステムを理解するために不可欠である。 本研究では,映画からのみ計算する教師なし学習アルゴリズムを用いてEPの推定手法を開発した。 本手法はEPを正確に測定し,2つの非平衡系における散逸マップを作成する。
  論文  参考訳（メタデータ） (2021-06-29T05:45:13Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Phase space learning with neural networks [0.0]
  本研究では、部分微分方程式(PDE)を解く投影型手法の非線形一般化としてのオートエンコーダニューラルネットワークを提案する。 提案したディープラーニングアーキテクチャは、中間再構成なしに非常に少ない潜在空間に完全に統合することでPDEのダイナミクスを生成でき、その後、潜在解を元の空間に復号することができる。 単一経路のサンプルデータから動的システムの位相空間のグローバルな特性を学習するために、適切に正規化されたニューラルネットワークの信頼性と、目に見えない分岐を予測する能力を示す。
  論文  参考訳（メタデータ） (2020-06-22T20:28:07Z)
• Equilibrium Propagation with Continual Weight Updates [69.87491240509485]
  時間によるバックプロパゲーション(BPTT)と密接に一致する勾配を計算し、機械学習と神経科学を橋渡しする学習アルゴリズムを提案する。 理論的には、学習速度が十分に小さい場合、第2相の各段階において、BPTTが与える損失の勾配に従ってニューロンとシナプスのダイナミクスが従うことを証明している。 これらの結果からEPは,後方伝播との親密な関係を維持しつつ,ハードウェアの制約に順応し,生物学に一歩近づいた。
  論文  参考訳（メタデータ） (2020-04-29T14:54:30Z)
• Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation [69.87491240509485]
  Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。 本稿では,方程式の簡易化,学習の高速化,CNNへのEP拡張を可能にするEPの離散時間定式化を提案する。 我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-29T12:14:06Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。