論文の概要: Layer-Wise Feedback Alignment is Conserved in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2306.01870v1
• Date: Fri, 2 Jun 2023 18:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 23:30:51.800898
• Title: Layer-Wise Feedback Alignment is Conserved in Deep Neural Networks
• Title（参考訳）: 層間フィードバックアライメントはディープニューラルネットワークで保存される
• Authors: Zachary Robertson, Oluwasanmi Koyejo
• Abstract要約: 本稿では,フィードバックアライメントの学習力学を規定する保全法則の集合を明らかにする。 分析の結果, FAにはグラディエント・ダイスン(Gradient Descent)と類似した暗黙の偏見があることが判明した。 本研究の意義は,バックプロパゲーションよりも効率的で生物学的に妥当な代替手段の開発に寄与する。
• 参考スコア（独自算出の注目度）: 14.87136964827431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the quest to enhance the efficiency and bio-plausibility of training deep neural networks, Feedback Alignment (FA), which replaces the backward pass weights with random matrices in the training process, has emerged as an alternative to traditional backpropagation. While the appeal of FA lies in its circumvention of computational challenges and its plausible biological alignment, the theoretical understanding of this learning rule remains partial. This paper uncovers a set of conservation laws underpinning the learning dynamics of FA, revealing intriguing parallels between FA and Gradient Descent (GD). Our analysis reveals that FA harbors implicit biases akin to those exhibited by GD, challenging the prevailing narrative that these learning algorithms are fundamentally different. Moreover, we demonstrate that these conservation laws elucidate sufficient conditions for layer-wise alignment with feedback matrices in ReLU networks. We further show that this implies over-parameterized two-layer linear networks trained with FA converge to minimum-norm solutions. The implications of our findings offer avenues for developing more efficient and biologically plausible alternatives to backpropagation through an understanding of the principles governing learning dynamics in deep networks.
• Abstract（参考訳）: 深層ニューラルネットワークのトレーニングの効率性と生物学的評価性を高めるために、トレーニングプロセスにおいて後方通過重量をランダムな行列に置き換えるフィードバックアライメント(FA)が、従来のバックプロパゲーションに代わるものとして登場した。 FAの魅力は計算課題の回避と生物学的アライメントにあるが、この学習規則の理論的理解はいまだに部分的である。 本稿では,FAの学習力学を支える一連の保存法則を明らかにするとともに,FAとグラディエントDescent(GD)の類似点を明らかにする。 分析の結果、faはgdが示すような暗黙のバイアスを保ち、これらの学習アルゴリズムが根本的に異なるという一般的な物語に挑戦していることが明らかとなった。 さらに,これらの保存法則は,ReLUネットワークにおけるフィードバック行列と階層的アライメントの十分な条件を解明することを示した。 さらに,faで訓練された超パラメータ2層線形ネットワークが最小ノルム解に収束することを示す。 以上の結果から,深層ネットワークにおける学習ダイナミクスを規定する原則の理解を通じて,より効率的かつ生物学的に可能なバックプロパゲーションの代替手段の開発への道筋が示唆された。

関連論文リスト

• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• The Influence of Learning Rule on Representation Dynamics in Wide Neural Networks [18.27510863075184]
  我々は、フィードバックアライメント(FA)、ダイレクトフィードバックアライメント(DFA)、エラー変調ヘビアン学習(Hebb)で訓練された無限幅の深い勾配ネットワークを解析する。 これらの学習規則のそれぞれに対して、無限幅での出力関数の進化は、時間変化の有効なニューラルネットワークカーネル(eNTK)によって制御されることを示す。 遅延訓練限界では、このeNTKは静的であり、進化しないが、リッチ平均場状態では、このカーネルの進化は動的平均場理論(DMFT)と自己整合的に決定することができる。
  論文  参考訳（メタデータ） (2022-10-05T11:33:40Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• BioLeaF: A Bio-plausible Learning Framework for Training of Spiking Neural Networks [4.698975219970009]
  本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。 マイクロ回路アーキテクチャでは,Spyke-Timing-Dependent-Plasticity(STDP)ルールをローカルコンパートメントで運用し,シナプス重みを更新する。 実験の結果,提案手法はBP法則に匹敵する学習精度を示す。
  論文  参考訳（メタデータ） (2021-11-14T10:32:22Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Complementary Structure-Learning Neural Networks for Relational Reasoning [3.528645587678267]
  海馬におけるパターン分離は,新しい環境下での迅速な学習を可能にすることを示す。 ネオコルテックスのゆっくりとした学習は、よく学習された環境から体系的な構造を抽出するために小さな重量変化を蓄積する。
  論文  参考訳（メタデータ） (2021-05-19T06:25:21Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。