論文の概要: Advancing Spiking Neural Networks for Sequential Modeling with Central Pattern Generators

• arxiv url: http://arxiv.org/abs/2405.14362v2
• Date: Fri, 11 Oct 2024 07:03:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:29:36.202481
• Title: Advancing Spiking Neural Networks for Sequential Modeling with Central Pattern Generators
• Title（参考訳）: 中央パターン発生器を用いた逐次モデリングのためのスパイクニューラルネットワークの高速化
• Authors: Changze Lv, Dongqi Han, Yansen Wang, Xiaoqing Zheng, Xuanjing Huang, Dongsheng Li,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワークを開発するための有望なアプローチである。 SNNをテキスト分類や時系列予測といったシーケンシャルなタスクに適用することは、効果的でハードウェアフレンドリーなスパイク形式の位置符号化戦略を作成するという課題によって妨げられている。 CPG-PEと呼ばれる新しいSNNのためのPE手法を提案する。我々は、一般的に使われているsinusoidal PEが、数学的に特定のCPGの膜電位ダイナミクスの特定の解であることを実証する。
• 参考スコア（独自算出の注目度）: 47.371024581669516
• License:
• Abstract: Spiking neural networks (SNNs) represent a promising approach to developing artificial neural networks that are both energy-efficient and biologically plausible. However, applying SNNs to sequential tasks, such as text classification and time-series forecasting, has been hindered by the challenge of creating an effective and hardware-friendly spike-form positional encoding (PE) strategy. Drawing inspiration from the central pattern generators (CPGs) in the human brain, which produce rhythmic patterned outputs without requiring rhythmic inputs, we propose a novel PE technique for SNNs, termed CPG-PE. We demonstrate that the commonly used sinusoidal PE is mathematically a specific solution to the membrane potential dynamics of a particular CPG. Moreover, extensive experiments across various domains, including time-series forecasting, natural language processing, and image classification, show that SNNs with CPG-PE outperform their conventional counterparts. Additionally, we perform analysis experiments to elucidate the mechanism through which SNNs encode positional information and to explore the function of CPGs in the human brain. This investigation may offer valuable insights into the fundamental principles of neural computation. Our code is available at https://github.com/microsoft/SeqSNN.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、エネルギー効率が良く生物学的に妥当な人工ニューラルネットワークを開発するための有望なアプローチである。 しかし,SNNをテキスト分類や時系列予測といった逐次的タスクに適用することは,効果的なスパイク形式位置符号化(PE)戦略を作成するという課題によって妨げられている。 そこで本研究では,リズミカル入力を必要としないリズミカルパターン出力を生成するヒト脳の中枢パターンジェネレータ(CPG)からインスピレーションを得て,CPG-PEと呼ばれる新しいSNNのためのPE技術を提案する。 一般的に用いられている正弦波PEは、数学的に特定のCPGの膜電位ダイナミクスに対する特定の解であることを示す。 さらに、時系列予測、自然言語処理、画像分類など、さまざまな分野にわたる広範な実験により、CPG-PEのSNNが従来のSNNよりも優れていることが示された。 さらに、SNNが位置情報をエンコードするメカニズムを解明し、ヒト脳におけるCPGの機能を調べるための分析実験を行った。 この調査は、ニューラルネットワークの基本原理に関する貴重な洞察を与えるかもしれない。 私たちのコードはhttps://github.com/microsoft/SeqSNNで公開されています。

関連論文リスト

• Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
  スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。 本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。 提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
  論文  参考訳（メタデータ） (2024-04-26T22:52:23Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Spiking Generative Adversarial Networks With a Neural Network Discriminator: Local Training, Bayesian Models, and Continual Meta-Learning [31.78005607111787]
  スパイキングパターンを再現するためにニューラルネットワークを訓練することは、ニューロモルフィックコンピューティングにおける中心的な問題である。 この研究は、個々のスパイキング信号ではなく、スパイキング信号にマッチするようにSNNを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-11-02T17:20:54Z)
• Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
  スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。 SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。 スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-10-27T11:47:42Z)
• Graph Neural Networks for Motion Planning [108.51253840181677]
  低次元問題に対する高密度固定グラフ上のGNNと高次元問題に対するサンプリングベースGNNの2つの手法を提案する。 RRT(Rapidly-Exploring Random Trees)におけるクリティカルノードの特定やサンプリング分布の学習といった計画上の問題にGNNが取り組む能力について検討する。 臨界サンプリング、振り子、6つのDoFロボットアームによる実験では、GNNは従来の分析手法の改善だけでなく、完全に接続されたニューラルネットワークや畳み込みニューラルネットワークを用いた学習アプローチも示している。
  論文  参考訳（メタデータ） (2020-06-11T08:19:06Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。