論文の概要: Backpropagation through space, time, and the brain

• arxiv url: http://arxiv.org/abs/2403.16933v2
• Date: Tue, 16 Jul 2024 17:37:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 21:08:58.834340
• Title: Backpropagation through space, time, and the brain
• Title（参考訳）: 空間・時間・脳におけるバックプロパゲーション
• Authors: Benjamin Ellenberger, Paul Haider, Jakob Jordan, Kevin Max, Ismael Jaras, Laura Kriener, Federico Benitez, Mihai A. Petrovici,
• Abstract要約: 我々は、ニューロンの物理的、動的ネットワークにおける完全局所的時間的クレジット割り当てのための計算フレームワークであるGeneral Latent Equilibriumを紹介する。 特に、GLEは樹状樹の形態を利用して、単一ニューロンのより複雑な情報保存と処理を可能にしている。
• 参考スコア（独自算出の注目度）: 2.10686639478348
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: How physical networks of neurons, bound by spatio-temporal locality constraints, can perform efficient credit assignment, remains, to a large extent, an open question. In machine learning, the answer is almost universally given by the error backpropagation algorithm, through both space and time. However, this algorithm is well-known to rely on biologically implausible assumptions, in particular with respect to spatio-temporal (non-)locality. Alternative forward-propagation models such as real-time recurrent learning only partially solve the locality problem, but only at the cost of scaling, due to prohibitive storage requirements. We introduce Generalized Latent Equilibrium (GLE), a computational framework for fully local spatio-temporal credit assignment in physical, dynamical networks of neurons. We start by defining an energy based on neuron-local mismatches, from which we derive both neuronal dynamics via stationarity and parameter dynamics via gradient descent. The resulting dynamics can be interpreted as a real-time, biologically plausible approximation of backpropagation through space and time in deep cortical networks with continuous-time neuronal dynamics and continuously active, local synaptic plasticity. In particular, GLE exploits the morphology of dendritic trees to enable more complex information storage and processing in single neurons, as well as the ability of biological neurons to phase-shift their output rate with respect to their membrane potential, which is essential in both directions of information propagation. For the forward computation, it enables the mapping of time-continuous inputs to neuronal space, effectively performing a spatio-temporal convolution. For the backward computation, it permits the temporal inversion of feedback signals, which consequently approximate the adjoint variables necessary for useful parameter updates.
• Abstract（参考訳）: 時空間的局所性制約によって束縛された神経細胞の物理的ネットワークが、いかに効率的なクレジット割り当てを行うことができるかは、大きな疑問が残る。 機械学習では、その答えは空間と時間の両方を通して、ほとんど普遍的にエラーのバックプロパゲーションアルゴリズムによって与えられる。 しかし、このアルゴリズムは生物学的に証明できない仮定、特に時空間(非局所性)に頼っていることはよく知られている。 リアルタイム・リカレント・ラーニングのような別のフォワード・プロパゲーション・モデルでは、局所性の問題が部分的に解決されるが、ストレージの要求が禁止されているため、スケーリングのコストに限られる。 本稿では,ニューロンの物理的,動的ネットワークにおける完全局所的時空間クレジット割り当てのための計算フレームワークであるGeneralized Latent Equilibrium (GLE)を紹介する。 まず、ニューロン局所的なミスマッチに基づいてエネルギーを定義し、そこから定常性による神経力学と勾配降下によるパラメータ力学の両方を導出する。 結果として生じる力学は、連続的な活動的な局所シナプス可塑性を持つ深部皮質神経回路網における空間と時間を通しての、リアルタイムで生物学的に妥当なバックプロパゲーションの近似と解釈できる。 特に、GLEは樹状体の木の形態を利用して、単一ニューロンにおけるより複雑な情報保存と処理を可能にし、情報伝達の両方向において必須である膜電位に関して、生物学的ニューロンが出力速度を位相シフトさせる能力も持っている。 前方の計算では、時間連続入力をニューロン空間にマッピングすることができ、時空間の時空間畳み込みを効果的に行うことができる。 後ろ向きの計算では、フィードバック信号の時間反転を許容し、結果として有用なパラメータ更新に必要な随伴変数を近似する。

関連論文リスト

• Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。 本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
  論文  参考訳（メタデータ） (2024-05-27T05:53:30Z)
• Astrocytes as a mechanism for meta-plasticity and contextually-guided network function [2.66269503676104]
  アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。 アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
  論文  参考訳（メタデータ） (2023-11-06T20:31:01Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons [0.7340017786387767]
  遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。 我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。 本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
  論文  参考訳（メタデータ） (2021-10-27T16:15:55Z)
• Astrocytes mediate analogous memory in a multi-layer neuron-astrocytic network [52.77024349608834]
  情報の一部が数秒間堅牢な活動パターンとして維持され、他の刺激が来なければ完全に消滅することを示す。 この種の短期記憶は、操作情報を数秒保存し、次のパターンとの重複を避けるために完全に忘れてしまう。 任意のパターンをロードし、一定の間隔で保存し、適切な手掛かりパターンを入力に適用した場合に検索する方法について示す。
  論文  参考訳（メタデータ） (2021-08-31T16:13:15Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
  複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。 我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
  論文  参考訳（メタデータ） (2021-04-21T18:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。