論文の概要: The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks

• arxiv url: http://arxiv.org/abs/2306.16922v3
• Date: Sun, 17 Mar 2024 15:36:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 04:22:24.032830
• Title: The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks
• Title（参考訳）: 伸展性漏洩記憶ニューロン--高能率・高能率現象ニューロンモデルによる長期的課題の解決
• Authors: Aaron Spieler, Nasim Rahaman, Georg Martius, Bernhard Schölkopf, Anna Levina,
• Abstract要約: 本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
• 参考スコア（独自算出の注目度）: 64.08042492426992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biological cortical neurons are remarkably sophisticated computational devices, temporally integrating their vast synaptic input over an intricate dendritic tree, subject to complex, nonlinearly interacting internal biological processes. A recent study proposed to characterize this complexity by fitting accurate surrogate models to replicate the input-output relationship of a detailed biophysical cortical pyramidal neuron model and discovered it needed temporal convolutional networks (TCN) with millions of parameters. Requiring these many parameters, however, could stem from a misalignment between the inductive biases of the TCN and cortical neuron's computations. In light of this, and to explore the computational implications of leaky memory units and nonlinear dendritic processing, we introduce the Expressive Leaky Memory (ELM) neuron model, a biologically inspired phenomenological model of a cortical neuron. Remarkably, by exploiting such slowly decaying memory-like hidden states and two-layered nonlinear integration of synaptic input, our ELM neuron can accurately match the aforementioned input-output relationship with under ten thousand trainable parameters. To further assess the computational ramifications of our neuron design, we evaluate it on various tasks with demanding temporal structures, including the Long Range Arena (LRA) datasets, as well as a novel neuromorphic dataset based on the Spiking Heidelberg Digits dataset (SHD-Adding). Leveraging a larger number of memory units with sufficiently long timescales, and correspondingly sophisticated synaptic integration, the ELM neuron displays substantial long-range processing capabilities, reliably outperforming the classic Transformer or Chrono-LSTM architectures on LRA, and even solving the Pathfinder-X task with over 70% accuracy (16k context length).
• Abstract（参考訳）: 生物学的皮質ニューロンは驚くほど洗練された計算装置であり、複雑な樹状樹上に巨大なシナプス入力を時間的に統合する。 最近の研究では、詳細な生体物理学的皮質錐体ニューロンモデルの入力-出力関係を再現するために正確な代理モデルに適合させることにより、この複雑さを特徴づけることが提案され、数百万のパラメータを持つ時間畳み込みネットワーク(TCN)が必要であることが判明した。 しかし、これらの多くのパラメータを必要とすることは、TCNの誘導バイアスと皮質ニューロンの計算のミスアライメントに起因する可能性がある。 これを踏まえ, 漏洩メモリユニットと非線形樹状突起処理の計算的意義を考察するために, 生物学的に着想を得た皮質ニューロンの現象モデルであるExpressive Leaky Memory (ELM) ニューロンモデルを導入する。 注目すべきは、そのような緩やかに崩壊するメモリライクな隠れ状態と、シナプス入力の2層非線形統合を利用することで、ELMニューロンは上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができることである。 ニューロン設計の計算的影響を更に評価するために、Long Range Arena(LRA)データセットや、Spyking Heidelberg Digitsデータセット(SHD-Adding)に基づく新しいニューロモルフィックデータセットなど、時間的構造を必要とする様々なタスクで評価した。 十分な時間スケールのメモリユニットを多用し、それに対応する洗練されたシナプス統合により、EMMニューロンは、LRA上の古典的なトランスフォーマーやクロノLSTMアーキテクチャを確実に上回り、精度が70%以上でPathfinder-Xタスクを解く(16kコンテキスト長)。

関連論文リスト

• PMSN: A Parallel Multi-compartment Spiking Neuron for Multi-scale Temporal Processing [22.1268533721837]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率の高い計算システムを実現する大きな可能性を秘めている。 PMSN(Parallel Multi-compartment Spiking Neuron)と呼ばれる新しいスパイキングニューロンモデルを提案する。 PMSNは、複数の相互作用するサブ構造を組み込んで生物学的ニューロンをエミュレートし、サブ構造数の柔軟な調整を可能にする。
  論文  参考訳（メタデータ） (2024-08-27T09:47:46Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding [32.25788551849627]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。 本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-29T09:33:10Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• Physically constrained neural networks to solve the inverse problem for neuron models [0.29005223064604074]
  システム生物学とシステム神経生理学は、生体医学科学における多くの重要な応用のための強力なツールである。 ディープニューラルネットワークの分野における最近の進歩は、非線形で普遍的な近似を定式化する可能性を示している。
  論文  参考訳（メタデータ） (2022-09-24T12:51:15Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
  複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。 我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
  論文  参考訳（メタデータ） (2021-04-21T18:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。