論文の概要: Oja's plasticity rule overcomes several challenges of training neural networks under biological constraints
- arxiv url: http://arxiv.org/abs/2408.08408v3
- Date: Sat, 05 Apr 2025 10:59:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-08 14:06:03.182968
- Title: Oja's plasticity rule overcomes several challenges of training neural networks under biological constraints
- Title（参考訳）: Ojaの可塑性規則は、生物学的制約下でニューラルネットワークを訓練する際のいくつかの課題を克服する
- Authors: Navid Shervani-Tabar, Marzieh Alireza Mirhoseini, Robert Rosenbaum,
- Abstract要約: 我々は,Ojaの塑性規則を誤り駆動学習に取り入れることで,フィードフォワードおよびリカレントアーキテクチャにおける安定かつ効率的な学習が可能になることを示す。
以上の結果から,Ojaの規則はよりリッチなアクティベーション部分空間を保ち,信号の爆発や消滅を緩和し,リカレントネットワークにおける短期記憶を改善することが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Deep neural networks have achieved impressive performance through carefully engineered training strategies. Nonetheless, such methods lack parallels in biological neural circuits, relying heavily on non-local credit assignment, precise initialization, normalization layers, batch processing, and large datasets. Biologically plausible plasticity rules, such as random feedback alignment, often suffer from instability and unbounded weight growth without these engineered methods, while Hebbian-type schemes fail to provide goal-oriented credit. In this study, we demonstrate that incorporating Oja's plasticity rule into error-driven training yields stable, efficient learning in feedforward and recurrent architectures, obviating the need for carefully engineered tricks. Our results show that Oja's rule preserves richer activation subspaces, mitigates exploding or vanishing signals, and improves short-term memory in recurrent networks. Notably, meta-learned local plasticity rules incorporating Oja's principle not only match but surpass standard backpropagation in data-scarce regimes. These findings reveal a biologically grounded pathway bridging engineered deep networks and plausible synaptic mechanisms.
- Abstract（参考訳）: ディープニューラルネットワークは、慎重にエンジニアリングされたトレーニング戦略を通じて、素晴らしいパフォーマンスを実現している。
それでも、生物学的ニューラルネットワークには並列性がなく、非局所的なクレジット割り当て、正確な初期化、正規化層、バッチ処理、大規模なデータセットに大きく依存している。
ランダムなフィードバックアライメントのような生物学的に妥当な可塑性規則は、しばしばこれらの工学的手法なしで不安定性と未有界の重量成長に悩まされるが、ヘビアン型スキームは目標指向の信用を与えることができない。
本研究では,Ojaの塑性則を誤り駆動トレーニングに組み込むことで,フィードフォワードおよびリカレントアーキテクチャにおける安定かつ効率的な学習が可能になることを実証し,慎重に設計したトリックの必要性を回避した。
以上の結果から,Ojaの規則はよりリッチなアクティベーション部分空間を保ち,信号の爆発や消滅を緩和し,リカレントネットワークにおける短期記憶を改善することが示唆された。
特に、Ojaの原則を取り入れたメタ学習型局所可塑性規則は、データスカース体制における標準のバックプロパゲーションを超えている。
以上の結果より,深層ネットワークと可塑性シナプス機構が生物学的に確立されていることが示唆された。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - A Review of Neuroscience-Inspired Machine Learning [58.72729525961739]
バイオプルーシブル・クレジット・アサインメントは、事実上あらゆる学習条件と互換性があり、エネルギー効率が高い。
本稿では,人工ニューラルネットワークにおける信用代入の生体評価可能なルールをモデル化する,いくつかの重要なアルゴリズムについて検討する。
我々は,このようなアルゴリズムを実用アプリケーションでより有用にするためには,今後の課題に対処する必要があることを論じる。
論文 参考訳（メタデータ） (2024-02-16T18:05:09Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Understanding plasticity in neural networks [41.79540750236036]
可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。
深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
論文 参考訳（メタデータ） (2023-03-02T18:47:51Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳（メタデータ） (2021-09-02T16:06:45Z) - SpikePropamine: Differentiable Plasticity in Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)におけるシナプス可塑性と神経調節シナプス可塑性のダイナミクスを学習するための枠組みを導入する。
異なる可塑性で強化されたSNNは、時間的学習課題の集合を解決するのに十分であることを示す。
これらのネットワークは、高次元のロボット学習タスクで移動を生成できることも示されている。
論文 参考訳（メタデータ） (2021-06-04T19:29:07Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。
具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。
我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
論文 参考訳（メタデータ） (2020-10-22T17:56:59Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Synaptic Metaplasticity in Binarized Neural Networks [4.243926243206826]
ディープニューラルネットワークは、新しいタスクをトレーニングする際に破滅的なことを忘れがちだ。
本研究では,マルチタスクとストリーム学習の状況において,これまで提示したデータを必要としない破滅的な忘れを軽減させる訓練手法を提案する。
この研究は計算神経科学とディープラーニングを橋渡しし、将来の組み込みおよびニューロモルフィックシステムのための重要な資産を提示する。
論文 参考訳（メタデータ） (2020-03-07T08:09:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。