論文の概要: Feed-Forward Optimization With Delayed Feedback for Neural Networks

• arxiv url: http://arxiv.org/abs/2304.13372v1
• Date: Wed, 26 Apr 2023 08:28:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 15:09:33.065897
• Title: Feed-Forward Optimization With Delayed Feedback for Neural Networks
• Title（参考訳）: 遅延フィードバックを用いたニューラルネットワークのフィードフォワード最適化
• Authors: Katharina Fl\"ugel, Daniel Coquelin, Marie Weiel, Charlotte Debus, Achim Streit, Markus G\"otz
• Abstract要約: バックプロパゲーションは、自然学習プロセスでは不可能な概念に頼って、生物学的に不可能であるとして批判されている。 本稿では,生体信頼性と計算効率向上のために,重量輸送と更新ロックという2つのコア問題を解決する方法を提案する。 F$3$は、生物学的に妥当なトレーニングアルゴリズムとバックプロパゲーションの間の予測性能のギャップを最大96%削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation has long been criticized for being biologically implausible, relying on concepts that are not viable in natural learning processes. This paper proposes an alternative approach to solve two core issues, i.e., weight transport and update locking, for biological plausibility and computational efficiency. We introduce Feed-Forward with delayed Feedback (F$^3$), which improves upon prior work by utilizing delayed error information as a sample-wise scaling factor to approximate gradients more accurately. We find that F$^3$ reduces the gap in predictive performance between biologically plausible training algorithms and backpropagation by up to 96%. This demonstrates the applicability of biologically plausible training and opens up promising new avenues for low-energy training and parallelization.
• Abstract（参考訳）: バックプロパゲーションは、自然学習プロセスでは不可能な概念に頼って、生物学的に理解できないと長年批判されてきた。 本稿では,生体信頼性と計算効率向上のために,重量輸送と更新ロックという2つのコア問題を解決する方法を提案する。 遅延エラー情報をサンプルワイドスケーリング因子として利用して、より正確に勾配を近似することで、事前作業を改善するフィードフォワード(F$^3$)を導入する。 f$^3$は、生物学的に妥当なトレーニングアルゴリズムとバックプロパゲーションの間の予測性能の差を最大96%減少させる。 これは生物学的に妥当なトレーニングの適用可能性を示し、低エネルギートレーニングと並列化のための有望な新しい道を開く。

関連論文リスト

• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms [1.2183405753834562]
  バックプロパゲーションは、その単純さ、効率性、高収束率のために、ディープニューラルネットワークをトレーニングするためのデフォルトのアルゴリズムである。 近年,より生物学的に妥当な学習法が提案されている。 BioTorchは、生物学的に動機付けられたニューラルネットワークを作成し、トレーニングし、ベンチマークするソフトウェアフレームワークである。
  論文  参考訳（メタデータ） (2021-08-30T18:02:55Z)
• Ada-SISE: Adaptive Semantic Input Sampling for Efficient Explanation of Convolutional Neural Networks [26.434705114982584]
  畳み込みニューラルネットワークの効率的な解釈手法を提案する。 実験の結果,提案手法は実行時間を最大30%削減できることがわかった。
  論文  参考訳（メタデータ） (2021-02-15T19:10:00Z)
• A More Biologically Plausible Local Learning Rule for ANNs [6.85316573653194]
  提案した学習規則は, 塑性と神経関連性に依存するスパイクタイミングの概念から導かれる。 MNISTとIRISデータセットのバイナリ分類に関する予備評価は、バックプロパゲーションと同等の性能を示す。 学習のローカルな性質は、ネットワークにおける大規模分散学習と並列学習の可能性をもたらす。
  論文  参考訳（メタデータ） (2020-11-24T10:35:47Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。