論文の概要: Low-Variance Forward Gradients using Direct Feedback Alignment and Momentum

• arxiv url: http://arxiv.org/abs/2212.07282v3
• Date: Wed, 24 May 2023 12:41:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-05-26 02:42:29.730863
• Title: Low-Variance Forward Gradients using Direct Feedback Alignment and Momentum
• Title（参考訳）: 直接フィードバックアライメントとモーメントを用いた低分散フォワード勾配
• Authors: Florian Bacho and Dominique Chu
• Abstract要約: ディープニューラルネットワーク(DNN)における教師付き学習は、一般的にエラーバックプロパゲーション(BP)アルゴリズムを用いて行われる。 BPの代替品を見つけることへの関心が高まっている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Supervised learning in Deep Neural Networks (DNNs) is commonly performed using the error Backpropagation (BP) algorithm. The sequential propagation of errors and the transport of weights during the backward pass limits its efficiency and scalability. Therefore, there is growing interest in finding local alternatives to BP. Recently, methods based on Forward-Mode Automatic Differentiation have been proposed, such as the Forward Gradient algorithm and its variants. However, Forward Gradients suffer from high variance in large DNNs, which affects convergence. In this paper, we address the large variance of Forward Gradients and propose the Forward Direct Feedback Alignment (FDFA) algorithm that combines Activity-Perturbed Forward Gradients with Direct Feedback Alignment and momentum to compute low-variance gradient estimates in DNNs. Our results provides both theoretical proof and empirical evidence that our proposed method achieves lower variance compared to previous Forward Gradient techniques. By reducing the variance of gradient estimates, our approach enables faster convergence and better performance when compared to other local alternatives to backpropagation.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)における教師付き学習は、一般的にエラーバックプロパゲーション(BP)アルゴリズムを用いて行われる。 エラーの逐次伝播と後方通過時の重みの輸送は効率とスケーラビリティを制限している。 そのため、BPの代替品の発見への関心が高まっている。 近年,フォワード・グラデーション・アルゴリズムやその変種など,フォワードモードの自動微分に基づく手法が提案されている。 しかし、Forward Gradientsは、収束に影響を与える大きなDNNにおいて高い分散に悩まされる。 本稿では,フォワード勾配のばらつきに対処し,dnnにおける低分散勾配推定を計算するために,アクティビティ・摂動フォワード勾配と直接フィードバックアライメントと運動量を組み合わせたフォワード・ダイレクト・フィードバック・アライメント(fdfa)アルゴリズムを提案する。 提案手法が従来の前向き勾配法と比較して低分散性を実現するという理論的証明と経験的証明の両方を提供する。 勾配推定のばらつきを小さくすることで,バックプロパゲーションに対する他の局所的な代替品と比較して,より高速な収束と優れた性能を実現する。

関連論文リスト

• Correlations Are Ruining Your Gradient Descent [1.2432046687586285]
  自然勾配降下は、最も急勾配の方向を示す勾配ベクトルが、損失景観の局所曲率を考慮することにより、どのように改善されるかを照らしている。 ニューラルネットワークの各層におけるノード応答を含む,任意の線形変換におけるデータの相関が,モデルパラメータ間の非正規的関係を生じさせることを示す。 本稿では,ノード出力のデコレーションと白化のために提案された手法について述べるとともに,これを拡張し,分散コンピューティングや計算神経科学に特に有用な新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-15T14:59:43Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique [0.0]
  本稿では,各層における勾配計算の必要性を解消する新しい瞬時パラメータ更新手法を提案する。 提案手法は,学習を加速し,消失する勾配問題を回避し,ベンチマークデータセット上で最先端の手法より優れる。
  論文  参考訳（メタデータ） (2023-08-09T16:41:00Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• A comparative study of back propagation and its alternatives on multilayer perceptrons [0.0]
  フィードフォワードニューラルネットワークのバックパスをトレーニングするデファクトアルゴリズムはバックプロパゲーション(BP)である ほぼすべての異なるアクティベーション関数を使用することで、ディープニューラルネットワークの層を通して勾配を後方に伝播させるのが効率的かつ効果的になった。 本稿では、畳み込みニューラルネットワーク(CNN)における予測とニューロンの安定性と類似性を解析し、その1つのアルゴリズムの新たなバリエーションを提案する。
  論文  参考訳（メタデータ） (2022-05-31T18:44:13Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。