論文の概要: Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias

• arxiv url: http://arxiv.org/abs/2101.05536v1
• Date: Thu, 14 Jan 2021 10:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 06:44:41.132515
• Title: Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias
• Title（参考訳）: 勾配推定バイアスを劇的に低減したディープコンブネットへの平衡伝播
• Authors: Axel Laborieux, Maxence Ernoult, Benjamin Scellier, Yoshua Bengio, Julie Grollier and Damien Querlioz
• Abstract要約: 実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。 我々は、有限なヌーディングの使用に固有のEPの勾配推定のバイアスがこの現象に責任があることを示しています。 これらの結果は、EPをディープニューラルネットワークにおける誤差勾配を計算するスケーラブルなアプローチとして強調し、ハードウェア実装を動機付けている。
• 参考スコア（独自算出の注目度）: 62.43908463620527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equilibrium Propagation (EP) is a biologically-inspired counterpart of Backpropagation Through Time (BPTT) which, owing to its strong theoretical guarantees and the locality in space of its learning rule, fosters the design of energy-efficient hardware dedicated to learning. In practice, however, EP does not scale to visual tasks harder than MNIST. In this work, we show that a bias in the gradient estimate of EP, inherent in the use of finite nudging, is responsible for this phenomenon and that cancelling it allows training deep ConvNets by EP, including architectures with distinct forward and backward connections. These results highlight EP as a scalable approach to compute error gradients in deep neural networks, thereby motivating its hardware implementation.
• Abstract（参考訳）: Equilibrium Propagation (EP) は、その強力な理論的保証と学習ルールの空間における局所性から、学習専用のエネルギー効率の高いハードウェアの設計を促進する、生物学的にインスパイアされたBackproagation Through Time (BPTT) の一種である。 しかし実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。 本研究では, 有限ヌード法に固有のEPの勾配推定の偏りが, この現象の原因となり, 異なる前方および後方接続を持つアーキテクチャを含む, EPによる深部ConvNetsのトレーニングを可能にすることを示す。 これらの結果は、深層ニューラルネットワークのエラー勾配を計算するスケーラブルなアプローチとしてEPを強調し、ハードウェア実装を動機付けている。

関連論文リスト

• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。 本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。 実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• A Theoretical Framework for Inference and Learning in Predictive Coding Networks [41.58529335439799]
  予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-21T04:17:55Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation [69.87491240509485]
  Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。 本稿では,方程式の簡易化,学習の高速化,CNNへのEP拡張を可能にするEPの離散時間定式化を提案する。 我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-29T12:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。