論文の概要: Oja's plasticity rule overcomes several challenges of training neural networks under biological constraints

• arxiv url: http://arxiv.org/abs/2408.08408v1
• Date: Thu, 15 Aug 2024 20:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 17:20:01.685442
• Title: Oja's plasticity rule overcomes several challenges of training neural networks under biological constraints
• Title（参考訳）: Ojaの可塑性規則は、生物学的制約下でニューラルネットワークを訓練する際のいくつかの課題を克服する
• Authors: Navid Shervani-Tabar, Marzieh Alireza Mirhoseini, Robert Rosenbaum,
• Abstract要約: Ojaの可塑性ルールは、いくつかのエンジニアリングトリックの必要性を部分的に克服している。 具体的には、オンライン学習のような難しいが生物学的に現実的な学習シナリオの下では、Ojaのルールは純粋なバックプロパゲーションの性能を大幅に向上させることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a large literature on the similarities and differences between biological neural circuits and deep artificial neural networks (DNNs). However, modern training of DNNs relies on several engineering tricks such as data batching, normalization, adaptive optimizers, and precise weight initialization. Despite their critical role in training DNNs, these engineering tricks are often overlooked when drawing parallels between biological and artificial networks, potentially due to a lack of evidence for their direct biological implementation. In this study, we show that Oja's plasticity rule partly overcomes the need for some engineering tricks. Specifically, under difficult, but biologically realistic learning scenarios such as online learning, deep architectures, and sub-optimal weight initialization, Oja's rule can substantially improve the performance of pure backpropagation. Our results demonstrate that simple synaptic plasticity rules can overcome challenges to learning that are typically overcome using less biologically plausible approaches when training DNNs.
• Abstract（参考訳）: 生体神経回路と深層人工ニューラルネットワーク(DNN)の類似点と相違点については,多くの文献がある。 しかし、DNNの現代的なトレーニングは、データのバッチ化、正規化、適応オプティマイザ、正確なウェイト初期化といったいくつかのエンジニアリングトリックに依存している。 DNNのトレーニングにおいて重要な役割を担っているにもかかわらず、これらのエンジニアリングのトリックは、生物学的ネットワークと人工ネットワークの並行性を描画する際にしばしば見過ごされる。 本研究では,Ojaの塑性規則が工学的トリックの必要性を部分的に克服していることを示す。 具体的には、オンライン学習、深層建築、準最適重量初期化のような、難しいが生物学的に現実的な学習シナリオの下では、Ojaのルールは純粋なバックプロパゲーションの性能を大幅に向上させることができる。 以上の結果から, 単純なシナプス可塑性規則はDNNのトレーニングにおいて, 生物学的に信頼性の低いアプローチで克服される学習の課題を克服できることが示された。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• A Review of Neuroscience-Inspired Machine Learning [58.72729525961739]
  バイオプルーシブル・クレジット・アサインメントは、事実上あらゆる学習条件と互換性があり、エネルギー効率が高い。 本稿では,人工ニューラルネットワークにおける信用代入の生体評価可能なルールをモデル化する,いくつかの重要なアルゴリズムについて検討する。 我々は,このようなアルゴリズムを実用アプリケーションでより有用にするためには,今後の課題に対処する必要があることを論じる。
  論文  参考訳（メタデータ） (2024-02-16T18:05:09Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Understanding plasticity in neural networks [41.79540750236036]
  可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。 深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
  論文  参考訳（メタデータ） (2023-03-02T18:47:51Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• SpikePropamine: Differentiable Plasticity in Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)におけるシナプス可塑性と神経調節シナプス可塑性のダイナミクスを学習するための枠組みを導入する。 異なる可塑性で強化されたSNNは、時間的学習課題の集合を解決するのに十分であることを示す。 これらのネットワークは、高次元のロボット学習タスクで移動を生成できることも示されている。
  論文  参考訳（メタデータ） (2021-06-04T19:29:07Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
  本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。 具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。 我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-22T17:56:59Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Synaptic Metaplasticity in Binarized Neural Networks [4.243926243206826]
  ディープニューラルネットワークは、新しいタスクをトレーニングする際に破滅的なことを忘れがちだ。 本研究では,マルチタスクとストリーム学習の状況において,これまで提示したデータを必要としない破滅的な忘れを軽減させる訓練手法を提案する。 この研究は計算神経科学とディープラーニングを橋渡しし、将来の組み込みおよびニューロモルフィックシステムのための重要な資産を提示する。
  論文  参考訳（メタデータ） (2020-03-07T08:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。