論文の概要: Revisiting Reset Mechanisms in Spiking Neural Networks for Sequential Modeling: Specialized Discretization for Binary Activated RNN

• arxiv url: http://arxiv.org/abs/2504.17751v3
• Date: Tue, 29 Apr 2025 18:43:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.479528
• Title: Revisiting Reset Mechanisms in Spiking Neural Networks for Sequential Modeling: Specialized Discretization for Binary Activated RNN
• Title（参考訳）: 逐次モデリングのためのスパイキングニューラルネットワークのリセット機構の再検討:二元活性化RNNの離散化
• Authors: Enqi Zhang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)に匹敵する性能を達成した 本稿では、SNNを逐次モデリングタスクのためのバイナリアクティベート・リカレントニューラルネットワーク(RNN)とみなす別の視点に焦点を当てる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of image recognition, spiking neural networks (SNNs) have achieved performance comparable to conventional artificial neural networks (ANNs). In such applications, SNNs essentially function as traditional neural networks with quantized activation values. This article focuses on an another alternative perspective,viewing SNNs as binary-activated recurrent neural networks (RNNs) for sequential modeling tasks. From this viewpoint, current SNN architectures face several fundamental challenges in sequence modeling: (1) Traditional models lack effective memory mechanisms for long-range sequence modeling; (2) The biological-inspired components in SNNs (such as reset mechanisms and refractory period applications) remain theoretically under-explored for sequence tasks; (3) The RNN-like computational paradigm in SNNs prevents parallel training across different timesteps. To address these challenges, this study conducts a systematic analysis of the fundamental mechanisms underlying reset operations and refractory periods in binary-activated RNN-based SNN sequence models. We re-examine whether such biological mechanisms are strictly necessary for generating sparse spiking patterns, provide new theoretical explanations and insights, and ultimately propose the fixed-refractory-period SNN architecture for sequence modeling.
• Abstract（参考訳）: 画像認識の分野では、スパイクニューラルネットワーク(SNN)は、従来の人工知能ニューラルネットワーク(ANN)に匹敵する性能を達成した。 このようなアプリケーションでは、SNNは基本的に量子化されたアクティベーション値を持つ従来のニューラルネットワークとして機能する。 本稿では、SNNを逐次モデリングタスクのためのバイナリアクティベート・リカレントニューラルネットワーク(RNN)とみなす別の視点に焦点を当てる。 この観点から、現在のSNNアーキテクチャは、シーケンスモデリングにおいていくつかの根本的な課題に直面している。(1) 従来のモデルでは、長距離シーケンスモデリングに効果的なメモリメカニズムが欠如している、(2) SNNの生物学的インスパイアされたコンポーネント(リセット機構や屈折周期アプリケーションなど)は、理論上、シーケンスタスクに対して未探索のままである、(3) SNNにおけるRNNのような計算パラダイムは、異なるタイムステップ間の並列トレーニングを妨げている。 これらの課題に対処するため、本研究では、リセット操作の基礎となるメカニズムと、バイナリアクティベートされたRNNベースのSNNシーケンスモデルにおける屈折周期を体系的に解析する。 このような生物学的メカニズムがスパーススパイクパターンの生成に厳密に必要かどうかを再検討し、新しい理論的説明と洞察を提供し、最終的にシーケンスモデリングのための固定屈折周期SNNアーキテクチャを提案する。

関連論文リスト

• A Recurrent Spiking Network with Hierarchical Intrinsic Excitability Modulation for Schema Learning [20.722060005437353]
  ニューラル計算の現在の研究は、単一の行動パラダイムに大きく制約されている。 階層内在性興奮性変調(HM-RSNN)を用いた繰り返しスパイクニューラルネットワークを用いた新しいモデルを提案する。 HM-RSNNは、すべてのタスクにおいてRSNNのベースラインを著しく上回り、3つの新しい認知タスクにおいてRNNを上回る。
  論文  参考訳（メタデータ） (2025-01-24T14:45:03Z)
• Scalable Mechanistic Neural Networks for Differential Equations and Machine Learning [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 計算時間と空間複雑度はそれぞれ、列長に関して立方体と二次体から線形へと減少する。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks [1.9775291915550175]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる計算効率が高く生物学的に妥当な代替品として提案されている。 長距離依存タスクのためのスケーラブルな確率的スパイク学習フレームワークを開発した。 我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-05T04:23:11Z)
• Learning Long Sequences in Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために、脳からインスピレーションを得ている。 トランスフォーマーの効率的な代替品に対する近年の関心は、状態空間モデル(SSM)と呼ばれる最先端の繰り返しアーキテクチャの台頭をもたらした。
  論文  参考訳（メタデータ） (2023-12-14T13:30:27Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks [1.8515971640245998]
  スパイクニューラルネットワーク(SNN)は、より生物学的に実行可能で、より強力なニューラルネットワークモデルとして研究されている。 本稿では、新規なサロゲート勾配と、チューナブルおよび適応性スピッキングニューロンの繰り返しネットワークがSNNの最先端を生み出す様子を示す。
  論文  参考訳（メタデータ） (2021-03-12T10:27:29Z)
• Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
  スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。 SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。 スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-10-27T11:47:42Z)
• Spiking Neural Networks -- Part I: Detecting Spatial Patterns [38.518936229794214]
  Spiking Neural Networks(SNN)は生物学的にインスパイアされた機械学習モデルで、バイナリとスパーススパイキング信号をイベント駆動のオンラインな方法で処理する動的ニューラルモデルに基づいている。 SNNは、学習と推論のためのエネルギー効率の良いコプロセッサとして出現しているニューロモルフィックコンピューティングプラットフォーム上で実装することができる。
  論文  参考訳（メタデータ） (2020-10-27T11:37:22Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。