論文の概要: Directional Direct Feedback Alignment: Estimating Backpropagation Paths
for Efficient Learning on Neural Processors
- arxiv url: http://arxiv.org/abs/2212.07282v2
- Date: Fri, 16 Dec 2022 15:11:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 15:58:55.524389
- Title: Directional Direct Feedback Alignment: Estimating Backpropagation Paths
for Efficient Learning on Neural Processors
- Title(参考訳): 指向性直接フィードバックアライメント:ニューラルネットワークの効率的な学習のためのバックプロパゲーションパスの推定
- Authors: Florian Bacho and Dominique Chu
- Abstract要約: エラーバックプロパゲーションアルゴリズム(BP)は、ディープニューラルネットワークをトレーニングするための重要な手法である。
BPは計算量、メモリ使用量、エネルギーの面でリソースの需要がある。
BPに代わるアルゴリズムが要求されており、ハードウェア上のニューラルネットワークのレイテンシ、メモリ要求、エネルギーフットプリントを改善することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The error Backpropagation algorithm (BP) is a key method for training deep
neural networks. While performant, it is also resource-demanding in terms of
computation, memory usage and energy. This makes it unsuitable for online
learning on edge devices that require a high processing rate and low energy
consumption. More importantly, BP does not take advantage of the parallelism
and local characteristics offered by dedicated neural processors. There is
therefore a demand for alternative algorithms to BP that could improve the
latency, memory requirements, and energy footprint of neural networks on
hardware. In this work, we propose a novel method based on Direct Feedback
Alignment (DFA) which uses Forward-Mode Automatic Differentiation to estimate
backpropagation paths and learn feedback connections in an online manner. We
experimentally show that Directional DFA achieves performances that are closer
to BP than other feedback methods on several benchmark datasets and
architectures while benefiting from the locality and parallelization
characteristics of DFA. Moreover, we show that, unlike other feedback learning
algorithms, our method provides stable learning for convolution layers.
- Abstract(参考訳): エラーバックプロパゲーションアルゴリズム(BP)は、ディープニューラルネットワークをトレーニングするための重要な手法である。
パフォーマンスは高いが、計算、メモリ使用量、エネルギーの面ではリソースが要求される。
これにより、高い処理レートと低いエネルギー消費を必要とするエッジデバイス上でのオンライン学習には適さない。
さらに重要なことは、BPは専用のニューラルプロセッサが提供する並列性と局所特性を生かしていない。
そのため、BPに代わるアルゴリズムが要求されており、ハードウェア上のニューラルネットワークのレイテンシ、メモリ要求、エネルギーフットプリントを改善することができる。
本研究では,前方モードの自動微分を用いてバックプロパゲーションパスを推定し,オンライン形式でフィードバック接続を学習するdirect feedback alignment(dfa)に基づく新しい手法を提案する。
DFAの局所性と並列化特性を生かしながら、いくつかのベンチマークデータセットやアーキテクチャ上での他のフィードバック手法よりもBPに近い性能を実現することを実験的に示す。
さらに,他のフィードバック学習アルゴリズムとは異なり,提案手法は畳み込み層に対する安定した学習を提供する。
関連論文リスト
- A Novel Method for improving accuracy in neural network by reinstating
traditional back propagation technique [0.0]
本稿では,各層における勾配計算の必要性を解消する新しい瞬時パラメータ更新手法を提案する。
提案手法は,学習を加速し,消失する勾配問題を回避し,ベンチマークデータセット上で最先端の手法より優れる。
論文 参考訳(メタデータ) (2023-08-09T16:41:00Z) - Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。
本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。
この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
論文 参考訳(メタデータ) (2023-03-20T16:49:40Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - A comparative study of back propagation and its alternatives on
multilayer perceptrons [0.0]
フィードフォワードニューラルネットワークのバックパスをトレーニングするデファクトアルゴリズムはバックプロパゲーション(BP)である
ほぼすべての異なるアクティベーション関数を使用することで、ディープニューラルネットワークの層を通して勾配を後方に伝播させるのが効率的かつ効果的になった。
本稿では、畳み込みニューラルネットワーク(CNN)における予測とニューロンの安定性と類似性を解析し、その1つのアルゴリズムの新たなバリエーションを提案する。
論文 参考訳(メタデータ) (2022-05-31T18:44:13Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳(メタデータ) (2022-01-31T22:00:41Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-10-21T14:49:00Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。
また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
論文 参考訳(メタデータ) (2020-04-17T20:21:47Z) - Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。
我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。
適応勾配法の一般化に関する経験的および理論的考察を示す。
論文 参考訳(メタデータ) (2020-02-26T21:42:49Z) - Semi-Implicit Back Propagation [1.5533842336139065]
ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。
ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。
MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
論文 参考訳(メタデータ) (2020-02-10T03:26:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。