論文の概要: Implicit Regularization in Feedback Alignment Learning Mechanisms for Neural Networks

• arxiv url: http://arxiv.org/abs/2306.01870v2
• Date: Tue, 4 Jun 2024 00:42:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 14:26:34.355492
• Title: Implicit Regularization in Feedback Alignment Learning Mechanisms for Neural Networks
• Title（参考訳）: ニューラルネットワークのフィードバックアライメント学習機構における暗黙の規則化
• Authors: Zachary Robertson, Oluwasanmi Koyejo,
• Abstract要約: フィードバックアライメント(FA)法は、階層間の通信を減らしたニューラルネットワークをトレーニングするための生物学的にインスパイアされた局所学習規則である。 本研究では、FAにおけるアライメントの背後にある運用原則を解明する統一的なフレームワークを紹介する。 全体として、これらの理論的および実践的な進歩は、生物工学的な学習規則の解釈可能性を改善し、強化されたFAアルゴリズムを開発するための基盤を提供する。
• 参考スコア（独自算出の注目度）: 8.324038619175266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feedback Alignment (FA) methods are biologically inspired local learning rules for training neural networks with reduced communication between layers. While FA has potential applications in distributed and privacy-aware ML, limitations in multi-class classification and lack of theoretical understanding of the alignment mechanism have constrained its impact. This study introduces a unified framework elucidating the operational principles behind alignment in FA. Our key contributions include: (1) a novel conservation law linking changes in synaptic weights to implicit regularization that maintains alignment with the gradient, with support from experiments, (2) sufficient conditions for convergence based on the concept of alignment dominance, and (3) empirical analysis showing better alignment can enhance FA performance on complex multi-class tasks. Overall, these theoretical and practical advancements improve interpretability of bio-plausible learning rules and provide groundwork for developing enhanced FA algorithms.
• Abstract（参考訳）: フィードバックアライメント(FA)法は、階層間の通信を減らしたニューラルネットワークをトレーニングするための生物学的にインスパイアされた局所学習規則である。 FAは、分散およびプライバシを意識したMLに潜在的な応用があるが、多クラス分類の制限とアライメントメカニズムの理論的理解の欠如がその影響を制約している。 本研究では、FAにおけるアライメントの背後にある運用原則を解明する統一的なフレームワークを紹介する。 本研究の主な貢献は,(1) 漸進的重みの変化と, 勾配との整合性を維持する暗黙的正則化を結び付ける新しい保存法, (2) 整合性支配の概念に基づく収束の十分な条件,(3) 複雑な多クラスタスクにおけるFA性能の向上を示す経験的分析である。 全体として、これらの理論的および実践的な進歩は、生物工学的な学習規則の解釈可能性を改善し、強化されたFAアルゴリズムを開発するための基盤を提供する。

関連論文リスト

• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• The Influence of Learning Rule on Representation Dynamics in Wide Neural Networks [18.27510863075184]
  我々は、フィードバックアライメント(FA)、ダイレクトフィードバックアライメント(DFA)、エラー変調ヘビアン学習(Hebb)で訓練された無限幅の深い勾配ネットワークを解析する。 これらの学習規則のそれぞれに対して、無限幅での出力関数の進化は、時間変化の有効なニューラルネットワークカーネル(eNTK)によって制御されることを示す。 遅延訓練限界では、このeNTKは静的であり、進化しないが、リッチ平均場状態では、このカーネルの進化は動的平均場理論(DMFT)と自己整合的に決定することができる。
  論文  参考訳（メタデータ） (2022-10-05T11:33:40Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• BioLeaF: A Bio-plausible Learning Framework for Training of Spiking Neural Networks [4.698975219970009]
  本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。 マイクロ回路アーキテクチャでは,Spyke-Timing-Dependent-Plasticity(STDP)ルールをローカルコンパートメントで運用し,シナプス重みを更新する。 実験の結果,提案手法はBP法則に匹敵する学習精度を示す。
  論文  参考訳（メタデータ） (2021-11-14T10:32:22Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Complementary Structure-Learning Neural Networks for Relational Reasoning [3.528645587678267]
  海馬におけるパターン分離は,新しい環境下での迅速な学習を可能にすることを示す。 ネオコルテックスのゆっくりとした学習は、よく学習された環境から体系的な構造を抽出するために小さな重量変化を蓄積する。
  論文  参考訳（メタデータ） (2021-05-19T06:25:21Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。