論文の概要: Balanced Resonate-and-Fire Neurons

• arxiv url: http://arxiv.org/abs/2402.14603v2
• Date: Tue, 08 Oct 2024 11:13:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:30:14.606924
• Title: Balanced Resonate-and-Fire Neurons
• Title（参考訳）: 平衡共振・発火ニューロン
• Authors: Saya Higuchi, Sebastian Kairat, Sander M. Bohte, Sebastian Otte,
• Abstract要約: 我々はバニラRFニューロンの内在的制限を緩和する平衡RFニューロン(BRF)を導入する。 BRFニューロンのネットワークは、全体的なタスク性能を向上し、スパイクのごく一部しか発生せず、現代のRSNNに比べてパラメータが大幅に少ないことを示す。
• 参考スコア（独自算出の注目度）: 1.3223682837381137
• License:
• Abstract: The resonate-and-fire (RF) neuron, introduced over two decades ago, is a simple, efficient, yet biologically plausible spiking neuron model, which can extract frequency patterns within the time domain due to its resonating membrane dynamics. However, previous RF formulations suffer from intrinsic shortcomings that limit effective learning and prevent exploiting the principled advantage of RF neurons. Here, we introduce the balanced RF (BRF) neuron, which alleviates some of the intrinsic limitations of vanilla RF neurons and demonstrates its effectiveness within recurrent spiking neural networks (RSNNs) on various sequence learning tasks. We show that networks of BRF neurons achieve overall higher task performance, produce only a fraction of the spikes, and require significantly fewer parameters as compared to modern RSNNs. Moreover, BRF-RSNN consistently provide much faster and more stable training convergence, even when bridging many hundreds of time steps during backpropagation through time (BPTT). These results underscore that our BRF-RSNN is a strong candidate for future large-scale RSNN architectures, further lines of research in SNN methodology, and more efficient hardware implementations.
• Abstract（参考訳）: 20年以上前に導入された共鳴発火ニューロン(resonate-and-fire neuron, RF)は、シンプルで効率的だが生物学的に妥当なスパイキングニューロンモデルであり、共鳴膜力学によって時間領域内の周波数パターンを抽出することができる。 しかし、従来のRFの定式化は、効果的な学習を制限し、RFニューロンの原則的利点を悪用しない固有の欠点に悩まされている。 本稿では、バニラRFニューロンの内在的制限を緩和し、様々なシーケンス学習タスクにおける繰り返しスパイクニューラルネットワーク(RSNN)における効果を示す平衡RF(BRF)ニューロンについて紹介する。 BRFニューロンのネットワークは、全体的なタスク性能を向上し、スパイクのごく一部しか発生せず、現代のRSNNに比べてパラメータが大幅に少ないことを示す。 さらに、BRF-RSNNは、時間によるバックプロパゲーション(BPTT)中に数百のタイムステップをブリッジしても、ずっと高速で安定したトレーニング収束を提供する。 これらの結果から,我々の BRF-RSNN は将来の大規模 RSNN アーキテクチャ,SNN 方法論のさらなる研究線,より効率的なハードウェア実装の有力な候補であることが示された。

関連論文リスト

• Understanding the Convergence in Balanced Resonate-and-Fire Neurons [1.4186974630564675]
  Resonate-and-Fire(RF)ニューロンは、スパイキングニューラルネットワーク(SNN)におけるインテグレーターニューロンの興味深い補体モデルである 最近提案されたリゾネート・アンド・ファイア(BRF)ニューロンは、タスク性能、スパイク、パラメータ効率において重要な方法論的進歩を示した。 本稿は、これらの収束優位性の出現の経緯と理由について、さらなる直感を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-06-01T10:04:55Z)
• Deep Pulse-Coupled Neural Networks [31.65350290424234]
  ニューラルネットワーク(SNN)は、ニューロンを利用して脳の情報処理機構をキャプチャする。 本研究では、複雑な力学、すなわちパルス結合型ニューラルネットワーク(PCNN)を用いた、より生物学的に実証可能なニューラルモデルを活用する。 我々は、SNNでよく使われるLIFニューロンをPCNNニューロンに置き換えることで、ディープパルス結合ニューラルネットワーク(DPCNN)を構築する。
  論文  参考訳（メタデータ） (2023-12-24T08:26:00Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• Exploiting High Performance Spiking Neural Networks with Efficient Spiking Patterns [4.8416725611508244]
  スパイキングニューラルネットワーク(SNN)は、離散スパイクシーケンスを使用して情報を伝達し、脳の情報伝達を著しく模倣する。 本稿では、動的バーストパターンを導入し、短時間の性能と動的時間的性能のトレードオフを可能にするLeaky Integrate and Fire or Burst(LIFB)ニューロンを設計する。
  論文  参考訳（メタデータ） (2023-01-29T04:22:07Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning [6.417011237981518]
  漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。 我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。 そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
  論文  参考訳（メタデータ） (2021-09-04T17:13:28Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。