論文の概要: The ELM Neuron: an Efficient and Expressive Cortical Neuron Model Can Solve Long-Horizon Tasks

• arxiv url: http://arxiv.org/abs/2306.16922v1
• Date: Wed, 14 Jun 2023 13:34:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-02 13:07:13.776064
• Title: The ELM Neuron: an Efficient and Expressive Cortical Neuron Model Can Solve Long-Horizon Tasks
• Title（参考訳）: ELMニューロン:高能率・高能率皮質ニューロンモデルによる長期作業の解法
• Authors: Aaron Spieler, Nasim Rahaman, Georg Martius, Bernhard Sch\"olkopf, Anna Levina
• Abstract要約: 我々は,脳皮質ニューロンの生物学的にインスパイアされ,計算的に表現され,効率の良いモデルであるExpressive Leaky Memory(ELM)ニューロンを紹介した。 ELMニューロンは、上記の入力と出力の関係を正確に一致させるために、わずか8Kのトレーニング可能なパラメータしか必要としない。 ELMニューロンは、Pathfinder-Xタスク上で77%の精度でトランスフォーマーベースモデルより優れており、シークエンシャルCIFAR-10上での競合性能を示し、スパイキングハイデルバーグ・ディジットスデータセットの古典LSTMモデルよりも優れた性能を示している。
• 参考スコア（独自算出の注目度）: 27.224127710674757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional large-scale neuroscience models and machine learning utilize simplified models of individual neurons, relying on collective activity and properly adjusted connections to perform complex computations. However, each biological cortical neuron is inherently a sophisticated computational device, as corroborated in a recent study where it took a deep artificial neural network with millions of parameters to replicate the input-output relationship of a detailed biophysical model of a cortical pyramidal neuron. We question the necessity for these many parameters and introduce the Expressive Leaky Memory (ELM) neuron, a biologically inspired, computationally expressive, yet efficient model of a cortical neuron. Remarkably, our ELM neuron requires only 8K trainable parameters to match the aforementioned input-output relationship accurately. We find that an accurate model necessitates multiple memory-like hidden states and intricate nonlinear synaptic integration. To assess the computational ramifications of this design, we evaluate the ELM neuron on various tasks with demanding temporal structures, including a sequential version of the CIFAR-10 classification task, the challenging Pathfinder-X task, and a new dataset based on the Spiking Heidelberg Digits dataset. Our ELM neuron outperforms most transformer-based models on the Pathfinder-X task with 77% accuracy, demonstrates competitive performance on Sequential CIFAR-10, and superior performance compared to classic LSTM models on the variant of the Spiking Heidelberg Digits dataset. These findings indicate a potential for biologically motivated, computationally efficient neuronal models to enhance performance in challenging machine learning tasks.
• Abstract（参考訳）: 伝統的な大規模神経科学モデルと機械学習は、複雑な計算を行うために集団活動と適切に調整された接続に依存する、個々のニューロンの単純化されたモデルを利用する。 しかし、それぞれの生物学的皮質ニューロンは本質的に高度な計算装置であり、数百万のパラメータを持つ深層人工ニューラルネットワークを用いて、皮質錐体ニューロンの詳細な生体物理モデルの入力-出力関係を再現するという最近の研究で裏付けられている。 我々はこれらの多くのパラメータの必要性を疑問視し、生物学的にインスパイアされ、計算的に表現され、しかし効率的な皮質ニューロンモデルであるExpressive Leaky Memory(ELM)ニューロンを導入する。 ELMニューロンは、上記の入力と出力の関係を正確に一致させるために、わずか8Kのトレーニング可能なパラメータしか必要としない。 正確なモデルは複数のメモリのような隠れ状態と複雑な非線形シナプス積分を必要とする。 本研究では,CIFAR-10分類タスクの逐次バージョン,挑戦的パスファインダー-Xタスク,スパイキングハイデルバーグ・ディジットスデータセットに基づく新しいデータセットなど,時間的構造を必要とする様々なタスクにおけるEMMニューロンの評価を行う。 ELMニューロンは、Pathfinder-Xタスク上で77%の精度でトランスフォーマーベースモデルより優れており、シークエンシャルCIFAR-10上での競合性能を示し、スパイキングハイデルバーグ・ディジットスデータセットの古典LSTMモデルよりも優れた性能を示している。 これらの結果は、生物学的に動機づけられ、計算効率の良いニューロンモデルが機械学習タスクの性能を向上させる可能性を示唆している。

関連論文リスト

• PMSN: A Parallel Multi-compartment Spiking Neuron for Multi-scale Temporal Processing [22.1268533721837]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率の高い計算システムを実現する大きな可能性を秘めている。 PMSN(Parallel Multi-compartment Spiking Neuron)と呼ばれる新しいスパイキングニューロンモデルを提案する。 PMSNは、複数の相互作用するサブ構造を組み込んで生物学的ニューロンをエミュレートし、サブ構造数の柔軟な調整を可能にする。
  論文  参考訳（メタデータ） (2024-08-27T09:47:46Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding [32.25788551849627]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。 本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-29T09:33:10Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• Physically constrained neural networks to solve the inverse problem for neuron models [0.29005223064604074]
  システム生物学とシステム神経生理学は、生体医学科学における多くの重要な応用のための強力なツールである。 ディープニューラルネットワークの分野における最近の進歩は、非線形で普遍的な近似を定式化する可能性を示している。
  論文  参考訳（メタデータ） (2022-09-24T12:51:15Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
  複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。 我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
  論文  参考訳（メタデータ） (2021-04-21T18:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。