論文の概要: Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias

• arxiv url: http://arxiv.org/abs/2006.03824v1
• Date: Sat, 6 Jun 2020 09:36:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 21:25:49.080069
• Title: Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias
• Title（参考訳）: 勾配推定バイアスを劇的に低減したディープコンブネットへの平衡伝播
• Authors: Axel Laborieux, Maxence Ernoult, Benjamin Scellier, Yoshua Bengio, Julie Grollier and Damien Querlioz
• Abstract要約: 実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
• 参考スコア（独自算出の注目度）: 65.13042449121411
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Equilibrium Propagation (EP) is a biologically-inspired algorithm for convergent RNNs with a local learning rule that comes with strong theoretical guarantees. The parameter updates of the neural network during the credit assignment phase have been shown mathematically to approach the gradients provided by Backpropagation Through Time (BPTT) when the network is infinitesimally nudged toward its target. In practice, however, training a network with the gradient estimates provided by EP does not scale to visual tasks harder than MNIST. In this work, we show that a bias in the gradient estimate of EP, inherent in the use of finite nudging, is responsible for this phenomenon and that cancelling it allows training deep ConvNets by EP. We show that this bias can be greatly reduced by using symmetric nudging (a positive nudging and a negative one). We also generalize previous EP equations to the case of cross-entropy loss (by opposition to squared error). As a result of these advances, we are able to achieve a test error of 11.7% on CIFAR-10 by EP, which approaches the one achieved by BPTT and provides a major improvement with respect to the standard EP approach with same-sign nudging that gives 86% test error. We also apply these techniques to train an architecture with asymmetric forward and backward connections, yielding a 13.2% test error. These results highlight EP as a compelling biologically-plausible approach to compute error gradients in deep neural networks.
• Abstract（参考訳）: Equilibrium Propagation (EP) は、強力な理論的保証を持つ局所学習規則を持つ収束RNNに対する生物学的に着想を得たアルゴリズムである。 与信代入フェーズにおけるニューラルネットワークのパラメータ更新を数学的に示し、ネットワークが標的に向かって無限に振る舞うときのバックプロパゲーション・スルー・タイム(BPTT)が提供する勾配にアプローチする。 しかし、実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 本研究では, 有限ヌード法に固有のEPの勾配推定の偏りが, この現象の原因であり, EPによる深部ConvNetsのトレーニングを可能にすることを示す。 このバイアスは、対称なナジング(正のナジングと負のナジング)を用いることで大幅に低減できることを示す。 また,(正方形誤差に対して)クロスエントロピー損失の場合に対して,以前のep方程式を一般化する。 これらの進歩の結果, BPTT が達成した手法に近づいた CIFAR-10 で 11.7% の試験誤差を EP で達成し, 86% のテスト誤差を与える同符号ヌードを用いた標準 EP アプローチに対して, 大幅な改善を実現した。 また、これらの手法を非対称な前方および後方接続を持つアーキテクチャのトレーニングに適用し、13.2%のテストエラーを発生させる。 これらの結果はepを、深層ニューラルネットワークにおけるエラー勾配を計算するための、生物学的に賞賛に値するアプローチとして強調する。

関連論文リスト

• Scaling SNNs Trained Using Equilibrium Propagation to Convolutional Architectures [2.2146860305758485]
  平衡伝播(Equilibrium Propagation、EP)は、収束性リカレントニューラルネットワーク(RNN)のために開発された生物学的に妥当な局所学習アルゴリズムである。 EPは、BPTTによって訓練されるスパイキングニューラルネットワーク(SNN)をトレーニングする強力な候補である。 本稿では,EP を用いた畳み込みスパイク収束 RNN の訓練のための定式化を行い,スパイク収束 RNN と非スパイク収束 RNN とのギャップを埋める。
  論文  参考訳（メタデータ） (2024-05-04T03:06:14Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Robust Learning via Persistency of Excitation [4.674053902991301]
  勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。 極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。 我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
  論文  参考訳（メタデータ） (2021-06-03T18:49:05Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [62.43908463620527]
  実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。 我々は、有限なヌーディングの使用に固有のEPの勾配推定のバイアスがこの現象に責任があることを示しています。 これらの結果は、EPをディープニューラルネットワークにおける誤差勾配を計算するスケーラブルなアプローチとして強調し、ハードウェア実装を動機付けている。
  論文  参考訳（メタデータ） (2021-01-14T10:23:40Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Inductive Bias of Gradient Descent for Exponentially Weight Normalized Smooth Homogeneous Neural Nets [1.7259824817932292]
  我々は,指数的あるいはクロスエントロピー損失のトレーニングにおいて,重み付き平滑な均質ニューラルネットの勾配降下の誘導バイアスを解析した。 本稿では,EWNを用いた勾配流路が適応学習率の標準ネットワーク上での勾配流と等価であることを示す。
  論文  参考訳（メタデータ） (2020-10-24T14:34:56Z)
• PEP: Parameter Ensembling by Perturbation [13.221295194854642]
  摂動(PEP)は、トレーニングから設定された最適パラメータのランダム摂動としてパラメータ値のアンサンブルを構成する。 PEPは性能を少し改善し、場合によっては経験的キャリブレーションを大幅に改善する。 PEPは、トレーニング中に発生したオーバーフィッティングのレベルを調査するために使用することができる。
  論文  参考訳（メタデータ） (2020-10-24T00:16:03Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。