論文の概要: Two Routes to Scalable Credit Assignment without Weight Symmetry

• arxiv url: http://arxiv.org/abs/2003.01513v2
• Date: Thu, 25 Jun 2020 03:55:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 01:20:25.745454
• Title: Two Routes to Scalable Credit Assignment without Weight Symmetry
• Title（参考訳）: 軽量対称性のないスケーラブルなクレジットアサインメントへの2つの道
• Authors: Daniel Kunin, Aran Nayebi, Javier Sagastuy-Brena, Surya Ganguli, Jonathan M. Bloom, Daniel L. K. Yamins
• Abstract要約: 本稿では,最近提案された局所学習規則について考察する。 この局所ルールとバックプロパゲーションの間には,モデル深度の増加に伴う性能と安定性のギャップがある。 次に, 即時重量輸送の必要性を緩和する非局所学習規則を, 生物学的に証明可能な「重み推定」プロセスに導入する。
• 参考スコア（独自算出の注目度）: 25.485770386464186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The neural plausibility of backpropagation has long been disputed, primarily for its use of non-local weight transport $-$ the biologically dubious requirement that one neuron instantaneously measure the synaptic weights of another. Until recently, attempts to create local learning rules that avoid weight transport have typically failed in the large-scale learning scenarios where backpropagation shines, e.g. ImageNet categorization with deep convolutional networks. Here, we investigate a recently proposed local learning rule that yields competitive performance with backpropagation and find that it is highly sensitive to metaparameter choices, requiring laborious tuning that does not transfer across network architecture. Our analysis indicates the underlying mathematical reason for this instability, allowing us to identify a more robust local learning rule that better transfers without metaparameter tuning. Nonetheless, we find a performance and stability gap between this local rule and backpropagation that widens with increasing model depth. We then investigate several non-local learning rules that relax the need for instantaneous weight transport into a more biologically-plausible "weight estimation" process, showing that these rules match state-of-the-art performance on deep networks and operate effectively in the presence of noisy updates. Taken together, our results suggest two routes towards the discovery of neural implementations for credit assignment without weight symmetry: further improvement of local rules so that they perform consistently across architectures and the identification of biological implementations for non-local learning mechanisms.
• Abstract（参考訳）: バックプロパゲーションの神経的可視性は、主に非局所的な重量輸送を$-$で、あるニューロンが別のニューロンのシナプス重量を瞬時に測定するという生物学的に疑わしい要求のために、長い間議論されてきた。 最近まで、重量輸送を避けるローカルな学習ルールを作成する試みは、バックプロパゲーションが輝く大規模学習シナリオ(例えば、深層畳み込みネットワークによるImageNet分類)で失敗した。 本稿では,バックプロパゲーションによる競合性能を生かした,最近提案されている局所学習ルールについて検討し,ネットワークアーキテクチャをまたいで転送しない複雑なチューニングを必要とするメタパラメータ選択に非常に敏感であることを示す。 解析により,この不安定性の数学的理由が示され,メタパラメータチューニングを使わずに,より堅牢な局所学習ルールが特定できるようになった。 それでも、この局所的なルールとモデル深度の増加とともに広がるバックプロパゲーションの間には、性能と安定性のギャップがある。 次に,より生物学的に評価可能な「重み推定」プロセスへの瞬時重み輸送の必要性を緩和する非ローカル学習ルールについて検討し,これらのルールがディープネットワークにおける最先端のパフォーマンスと一致し,ノイズの多い更新が存在する場合に効果的に動作することを示す。 重みの対称性のないクレジット割り当てのための神経的実装の発見に向けた2つの経路について考察した。 局所的なルールをさらに改善し、アーキテクチャをまたいで一貫して実行し、非局所的な学習メカニズムのための生物学的実装の同定を行う。

関連論文リスト

• Deep Learning without Weight Symmetry [1.3812010983144802]
  バックプロパゲーション(BP)は、ニューラルネットワークをトレーニングするための基礎アルゴリズムである。 BPはしばしば生物学的に不溶であると考えられている。 ここでは、製品フィードバックアライメント(PFA)アルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2024-05-31T03:11:19Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Biologically Plausible Training Mechanisms for Self-Supervised Learning in Deep Networks [14.685237010856953]
  我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。 バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-09-30T12:56:57Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Learning to Learn with Feedback and Local Plasticity [9.51828574518325]
  我々はメタラーニングを用いて、フィードバック接続と局所的、生物学的にインスパイアされた学習ルールを用いて学習するネットワークを発見する。 実験の結果, メタトレーニングネットワークは, 多層アーキテクチャにおけるオンラインクレジット割り当てにフィードバック接続を効果的に利用していることがわかった。
  論文  参考訳（メタデータ） (2020-06-16T22:49:07Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。