論文の概要: Latent Equilibrium: A unified learning theory for arbitrarily fast
computation with arbitrarily slow neurons
- arxiv url: http://arxiv.org/abs/2110.14549v1
- Date: Wed, 27 Oct 2021 16:15:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 13:54:59.268041
- Title: Latent Equilibrium: A unified learning theory for arbitrarily fast
computation with arbitrarily slow neurons
- Title（参考訳）: 潜在平衡:任意に遅いニューロンを用いた高速計算のための統一学習理論
- Authors: Paul Haider, Benjamin Ellenberger, Laura Kriener, Jakob Jordan, Walter
Senn, Mihai A. Petrovici
- Abstract要約: 遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。
我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。
本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
- 参考スコア（独自算出の注目度）: 0.7340017786387767
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The response time of physical computational elements is finite, and neurons
are no exception. In hierarchical models of cortical networks each layer thus
introduces a response lag. This inherent property of physical dynamical systems
results in delayed processing of stimuli and causes a timing mismatch between
network output and instructive signals, thus afflicting not only inference, but
also learning. We introduce Latent Equilibrium, a new framework for inference
and learning in networks of slow components which avoids these issues by
harnessing the ability of biological neurons to phase-advance their output with
respect to their membrane potential. This principle enables quasi-instantaneous
inference independent of network depth and avoids the need for phased
plasticity or computationally expensive network relaxation phases. We jointly
derive disentangled neuron and synapse dynamics from a prospective energy
function that depends on a network's generalized position and momentum. The
resulting model can be interpreted as a biologically plausible approximation of
error backpropagation in deep cortical networks with continuous-time, leaky
neuronal dynamics and continuously active, local plasticity. We demonstrate
successful learning of standard benchmark datasets, achieving competitive
performance using both fully-connected and convolutional architectures, and
show how our principle can be applied to detailed models of cortical
microcircuitry. Furthermore, we study the robustness of our model to
spatio-temporal substrate imperfections to demonstrate its feasibility for
physical realization, be it in vivo or in silico.
- Abstract（参考訳）: 物理計算要素の応答時間は有限であり、ニューロンも例外ではない。
皮質ネットワークの階層モデルでは、各層は応答ラグを導入する。
この物理力学系の特性は、刺激の処理が遅れ、ネットワーク出力と命令信号のタイミングミスマッチを引き起こし、推論だけでなく学習も複雑になる。
生体ニューロンが膜電位に対して出力を位相改善する能力を活用することで、これらの問題を回避し、遅い成分のネットワークで推論と学習を行う新しいフレームワークであるLatent Equilibriumを紹介した。
この原理はネットワーク深さに依存しない準瞬時推論を可能にし、位相可塑性や計算コストの高いネットワーク緩和フェーズの必要性を回避する。
ネットワークの一般化された位置と運動量に依存する予測エネルギー関数から,不等角性ニューロンとシナプスダイナミクスを共同で導出する。
得られたモデルは、連続的な時間的、漏れやすい神経力学と連続的な活動的な局所的可塑性を持つ深部皮質ネットワークにおける生物学的に妥当な誤差逆伝播近似と解釈できる。
我々は、標準ベンチマークデータセットの学習を成功させ、完全接続型と畳み込み型の両方のアーキテクチャで競合性能を達成し、我々の原則が皮質微小循環の詳細なモデルにどのように適用できるかを示す。
さらに,生体内やシリコにおける物理的実現の可能性を示すために,時空間的基板不完全化に対するモデルのロバスト性について検討した。
関連論文リスト
- Contribute to balance, wire in accordance: Emergence of backpropagation from a simple, bio-plausible neuroplasticity rule [0.0]
我々は,脳にBPを実装するための潜在的なメカニズムを提供する新しい神経可塑性規則を導入する。
我々は,我々の学習規則が階層型ニューラルネットワークのBPを近似なしで正確に再現できることを数学的に証明した。
論文 参考訳（メタデータ） (2024-05-23T03:28:52Z) - Backpropagation through space, time, and the brain [2.10686639478348]
我々は、ニューロンの物理的、動的ネットワークにおける完全局所的時間的クレジット割り当てのための計算フレームワークであるGeneral Latent Equilibriumを紹介する。
特に、GLEは樹状樹の形態を利用して、単一ニューロンのより複雑な情報保存と処理を可能にしている。
論文 参考訳（メタデータ） (2024-03-25T16:57:02Z) - Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳（メタデータ） (2024-02-29T00:02:33Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Theory of coupled neuronal-synaptic dynamics [3.626013617212667]
神経回路では、シナプス強度が神経活動に影響を及ぼす。
神経ユニットとシナプス結合が動的変数と相互作用するリカレント・ネットワークモデルについて検討する。
我々は,ヘビアン可塑性を加えることでカオスネットワークの活動が遅くなり,カオスを引き起こすことを示した。
論文 参考訳（メタデータ） (2023-02-17T16:42:59Z) - Impact of spiking neurons leakages and network recurrences on
event-based spatio-temporal pattern recognition [0.0]
ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。
スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
論文 参考訳（メタデータ） (2022-11-14T21:34:02Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳（メタデータ） (2021-04-21T18:23:31Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。