論文の概要: Contribute to balance, wire in accordance: Emergence of backpropagation from a simple, bio-plausible neuroplasticity rule
- arxiv url: http://arxiv.org/abs/2405.14139v1
- Date: Thu, 23 May 2024 03:28:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 19:05:09.664721
- Title: Contribute to balance, wire in accordance: Emergence of backpropagation from a simple, bio-plausible neuroplasticity rule
- Title（参考訳）: バランス・ワイヤ・イン・アフォーメーションへの貢献: 単純で生物学的に証明可能な神経可塑性規則からのバックプロパゲーションの創出
- Authors: Xinhao Fan, Shreesh P Mysore,
- Abstract要約: 我々は,脳にBPを実装するための潜在的なメカニズムを提供する新しい神経可塑性規則を導入する。
我々は,我々の学習規則が階層型ニューラルネットワークのBPを近似なしで正確に再現できることを数学的に証明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Backpropagation (BP) has been pivotal in advancing machine learning and remains essential in computational applications and comparative studies of biological and artificial neural networks. Despite its widespread use, the implementation of BP in the brain remains elusive, and its biological plausibility is often questioned due to inherent issues such as the need for symmetry of weights between forward and backward connections, and the requirement of distinct forward and backward phases of computation. Here, we introduce a novel neuroplasticity rule that offers a potential mechanism for implementing BP in the brain. Similar in general form to the classical Hebbian rule, this rule is based on the core principles of maintaining the balance of excitatory and inhibitory inputs as well as on retrograde signaling, and operates over three progressively slower timescales: neural firing, retrograde signaling, and neural plasticity. We hypothesize that each neuron possesses an internal state, termed credit, in addition to its firing rate. After achieving equilibrium in firing rates, neurons receive credits based on their contribution to the E-I balance of postsynaptic neurons through retrograde signaling. As the network's credit distribution stabilizes, connections from those presynaptic neurons are strengthened that significantly contribute to the balance of postsynaptic neurons. We demonstrate mathematically that our learning rule precisely replicates BP in layered neural networks without any approximations. Simulations on artificial neural networks reveal that this rule induces varying community structures in networks, depending on the learning rate. This simple theoretical framework presents a biologically plausible implementation of BP, with testable assumptions and predictions that may be evaluated through biological experiments.
- Abstract（参考訳）: バックプロパゲーション(BP)は、機械学習の進歩において重要な役割を担い、計算応用と生物学的および人工ニューラルネットワークの比較研究に依然として不可欠である。
BPの脳への実装は広く使われているが、前と後ろの接続間の重みの対称性の必要性や、計算の異なる前方と後方のフェーズの必要性など、その生物学的な妥当性に疑問が呈されることが多い。
ここでは,脳にBPを実装するメカニズムを提供する新しい神経可塑性規則を導入する。
古典的なヘッブの規則と同様に、この規則は興奮性および抑制性の入力のバランスを保ち、逆行性シグナルのバランスを保ち、徐々に遅い3つの時間スケール(ニューラルファイア、逆行性シグナリング、神経可塑性)で機能する。
我々は、各ニューロンが、その発射速度に加えて、クレジットと呼ばれる内部状態を持っていると仮定する。
発射速度の平衡を達成した後、神経細胞は後シナプスニューロンのE-Iバランスへの寄与に基づいて、逆行性シグナルによってクレジットを受け取る。
ネットワークの信用分布が安定するにつれて、これらのシナプス前ニューロンからの接続が強化され、シナプス後ニューロンのバランスに大きく寄与する。
我々は,我々の学習規則が階層型ニューラルネットワークのBPを近似なしで正確に再現できることを数学的に証明した。
ニューラルネットワークのシミュレーションにより、このルールは学習率に応じて、ネットワーク内の様々なコミュニティ構造を誘導することが明らかになった。
この単純な理論的な枠組みは、生物学的実験を通じて評価できる検証可能な仮定と予測を備えた、生物学的に妥当なBPの実装を示す。
関連論文リスト
- Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。
このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。
これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
論文 参考訳（メタデータ） (2024-10-17T17:47:54Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - The Neuron as a Direct Data-Driven Controller [43.8450722109081]
本研究は、ニューロンを最適フィードバックコントローラとして概念化し、予測を最適化する現在の規範モデルを拡張する。
我々は、ニューロンを生物学的に実現可能なコントローラとしてモデル化し、ループダイナミクスを暗黙的に識別し、潜伏状態を推測し、制御を最適化する。
我々のモデルは、従来の、フィードフォワード、即時応答のマカロック-ピッツ-ローゼンブラットニューロンから大きく離れており、ニューラルネットワークを構築するための、新しく生物学的にインフォームドされた基本ユニットを提供する。
論文 参考訳（メタデータ） (2024-01-03T01:24:10Z) - Evolutionary algorithms as an alternative to backpropagation for
supervised training of Biophysical Neural Networks and Neural ODEs [12.357635939839696]
本稿では,生物物理学に基づくニューラルネットワークの学習における「段階的推定」進化アルゴリズムの利用について検討する。
EAにはいくつかのアドバンテージがあり、直接BPよりも望ましいことが分かりました。
以上の結果から,生体物理学ニューロンはBP法の限界をテストする上で有用なベンチマークを提供する可能性が示唆された。
論文 参考訳（メタデータ） (2023-11-17T20:59:57Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Latent Equilibrium: A unified learning theory for arbitrarily fast
computation with arbitrarily slow neurons [0.7340017786387767]
遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。
我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。
本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
論文 参考訳（メタデータ） (2021-10-27T16:15:55Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z) - Predictive coding in balanced neural networks with noise, chaos and
delays [24.76770648963407]
本稿では,バランスの度合いと重み障害の度合いを関連付けることができるバランス予測符号化モデルを提案する。
我々の研究は、神経ノイズ、シナプス障害、カオス、シナプス遅延、予測ニューラルコードの忠実さとのバランスを識別するための一般的な理論的枠組みを提供し、解決する。
論文 参考訳（メタデータ） (2020-06-25T05:03:27Z) - Equilibrium Propagation for Complete Directed Neural Networks [0.0]
最も成功したニューラルネットワークの学習アルゴリズム、バックプロパゲーションは生物学的に不可能であると考えられている。
我々は,平衡伝播学習の枠組みを構築し拡張することによって,生物学的に妥当な神経学習の話題に貢献する。
論文 参考訳（メタデータ） (2020-06-15T22:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。