論文の概要: Low-Variance Forward Gradients using Direct Feedback Alignment and
Momentum
- arxiv url: http://arxiv.org/abs/2212.07282v4
- Date: Mon, 21 Aug 2023 17:17:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 02:04:51.945055
- Title: Low-Variance Forward Gradients using Direct Feedback Alignment and
Momentum
- Title(参考訳): 直接フィードバックアライメントとモーメントを用いた低分散フォワード勾配
- Authors: Florian Bacho and Dominique Chu
- Abstract要約: 本稿では,アクティビティ・パータード・フォワード・グラディエントと直接フィードバックアライメントとモーメントを組み合わせたアルゴリズムを提案する。
我々のアプローチは、バックプロパゲーションの他のローカル代替手段と比較して、より高速な収束と性能の向上を可能にします。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Supervised learning in deep neural networks is commonly performed using error
backpropagation. However, the sequential propagation of errors during the
backward pass limits its scalability and applicability to low-powered
neuromorphic hardware. Therefore, there is growing interest in finding local
alternatives to backpropagation. Recently proposed methods based on
forward-mode automatic differentiation suffer from high variance in large deep
neural networks, which affects convergence. In this paper, we propose the
Forward Direct Feedback Alignment algorithm that combines Activity-Perturbed
Forward Gradients with Direct Feedback Alignment and momentum. We provide both
theoretical proofs and empirical evidence that our proposed method achieves
lower variance than forward gradient techniques. In this way, our approach
enables faster convergence and better performance when compared to other local
alternatives to backpropagation and opens a new perspective for the development
of online learning algorithms compatible with neuromorphic systems.
- Abstract(参考訳): ディープニューラルネットワークにおける教師付き学習は、一般にエラーバックプロパゲーションを用いて行われる。
しかし、後方通過時のエラーの逐次伝播は、そのスケーラビリティと低出力ニューロモルフィックハードウェアへの適用性を制限している。
したがって、バックプロパゲーションのローカルな代替品を見つけることへの関心が高まっている。
近年, 前方モード自動微分に基づく手法は, 収束に影響を及ぼす大深度ニューラルネットワークの高分散に悩まされている。
本稿では,運動摂動型前方勾配と直接フィードバックアライメントと運動量を組み合わせたフォワード直接フィードバックアライメントアルゴリズムを提案する。
提案手法が前方勾配法よりも低い分散性を実現するという理論的証明と実証的証拠の両方を提供する。
このようにして,バックプロパゲーションの他のローカルな代替品と比較して,コンバージェンスを高速化し,パフォーマンスを向上させることが可能となり,ニューロモルフィックシステムと互換性のあるオンライン学習アルゴリズムの開発に新たな視点が開ける。
関連論文リスト
- A Novel Method for improving accuracy in neural network by reinstating
traditional back propagation technique [0.0]
本稿では,各層における勾配計算の必要性を解消する新しい瞬時パラメータ更新手法を提案する。
提案手法は,学習を加速し,消失する勾配問題を回避し,ベンチマークデータセット上で最先端の手法より優れる。
論文 参考訳(メタデータ) (2023-08-09T16:41:00Z) - Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。
本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。
この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
論文 参考訳(メタデータ) (2023-03-20T16:49:40Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - A comparative study of back propagation and its alternatives on
multilayer perceptrons [0.0]
フィードフォワードニューラルネットワークのバックパスをトレーニングするデファクトアルゴリズムはバックプロパゲーション(BP)である
ほぼすべての異なるアクティベーション関数を使用することで、ディープニューラルネットワークの層を通して勾配を後方に伝播させるのが効率的かつ効果的になった。
本稿では、畳み込みニューラルネットワーク(CNN)における予測とニューロンの安定性と類似性を解析し、その1つのアルゴリズムの新たなバリエーションを提案する。
論文 参考訳(メタデータ) (2022-05-31T18:44:13Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳(メタデータ) (2022-01-31T22:00:41Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-10-21T14:49:00Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。
また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
論文 参考訳(メタデータ) (2020-04-17T20:21:47Z) - Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。
我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。
適応勾配法の一般化に関する経験的および理論的考察を示す。
論文 参考訳(メタデータ) (2020-02-26T21:42:49Z) - Semi-Implicit Back Propagation [1.5533842336139065]
ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。
ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。
MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
論文 参考訳(メタデータ) (2020-02-10T03:26:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。