論文の概要: Flexible and Scalable Deep Dendritic Spiking Neural Networks with Multiple Nonlinear Branching

• arxiv url: http://arxiv.org/abs/2412.06355v1
• Date: Mon, 09 Dec 2024 10:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:57:11.245457
• Title: Flexible and Scalable Deep Dendritic Spiking Neural Networks with Multiple Nonlinear Branching
• Title（参考訳）: 複数の非線形分岐を有するフレキシブルでスケーラブルな深層樹状スパイクニューラルネットワーク
• Authors: Yifan Huang, Wei Fang, Zhengyu Ma, Guoqi Li, Yonghong Tian,
• Abstract要約: 本稿では,複数の樹状突起枝に非線形力学を組み込んだ樹状突起スパイクニューロン(DendSN)を提案する。 点スパイクニューロンと比較すると、デンドSNははるかに高い発現を示す。 本研究は,従来のSNNに匹敵する深度とスケールで,生物解析可能な樹状SNNを訓練する可能性を実証するものである。
• 参考スコア（独自算出の注目度）: 39.664692909673086
• License:
• Abstract: Recent advances in spiking neural networks (SNNs) have a predominant focus on network architectures, while relatively little attention has been paid to the underlying neuron model. The point neuron models, a cornerstone of deep SNNs, pose a bottleneck on the network-level expressivity since they depict somatic dynamics only. In contrast, the multi-compartment models in neuroscience offer remarkable expressivity by introducing dendritic morphology and dynamics, but remain underexplored in deep learning due to their unaffordable computational cost and inflexibility. To combine the advantages of both sides for a flexible, efficient yet more powerful model, we propose the dendritic spiking neuron (DendSN) incorporating multiple dendritic branches with nonlinear dynamics. Compared to the point spiking neurons, DendSN exhibits significantly higher expressivity. DendSN's flexibility enables its seamless integration into diverse deep SNN architectures. To accelerate dendritic SNNs (DendSNNs), we parallelize dendritic state updates across time steps, and develop Triton kernels for GPU-level acceleration. As a result, we can construct large-scale DendSNNs with depth comparable to their point SNN counterparts. Next, we comprehensively evaluate DendSNNs' performance on various demanding tasks. By modulating dendritic branch strengths using a context signal, catastrophic forgetting of DendSNNs is substantially mitigated. Moreover, DendSNNs demonstrate enhanced robustness against noise and adversarial attacks compared to point SNNs, and excel in few-shot learning settings. Our work firstly demonstrates the possibility of training bio-plausible dendritic SNNs with depths and scales comparable to traditional point SNNs, and reveals superior expressivity and robustness of reduced dendritic neuron models in deep learning, thereby offering a fresh perspective on advancing neural network design.
• Abstract（参考訳）: スパイクニューラルネットワーク(SNN)の最近の進歩は、ネットワークアーキテクチャに重点を置いているが、基礎となるニューロンモデルにはあまり注目されていない。 深部SNNの基盤である点ニューロンモデルは、ソマティック・ダイナミクスのみを描写しているため、ネットワークレベルの表現性にボトルネックを生じさせる。 対照的に、神経科学におけるマルチコンパートメントモデルは、樹状突起形態学と力学を導入することで顕著な表現性を提供するが、計算コストと柔軟性の低い深層学習では未熟である。 フレキシブルで効率的でより強力なモデルに対する両面の利点を組み合わせるために、複数の樹状枝と非線形力学を組み込んだ樹状スパイクニューロン(DendSN)を提案する。 点スパイクニューロンと比較すると、デンドSNははるかに高い発現を示す。 DendSNの柔軟性は、多様なSNNアーキテクチャへのシームレスな統合を可能にする。 デンドライトSNN(DendSNN)を高速化するために、時間ステップにわたってデンドライト状態の更新を並列化し、GPUレベルのアクセラレーションのためのトリトンカーネルを開発する。 その結果,大規模DendSNNをポイントSNNに匹敵する深さで構築できることがわかった。 次に,様々な要求タスクにおいて,DendSNNの性能を総合的に評価する。 コンテキスト信号を用いて樹状枝強度を調節することにより、デンドSNNの破滅的忘れを著しく軽減する。 さらに、DendSNNは、ポイントSNNと比較してノイズや敵攻撃に対する堅牢性を向上し、数ショットの学習環境では優れていた。 我々の研究は、まず、従来のSNNに匹敵する深度とスケールのバイオプレースブルデンドライトSNNのトレーニングの可能性を示し、ディープラーニングにおける還元樹状ニューロンモデルの優れた表現性と堅牢性を明らかにし、ニューラルネットワーク設計の進展に対する新たな視点を提供する。

関連論文リスト

• Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する 本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-05-06T09:58:54Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Fluctuation-driven initialization for spiking neural network training [3.976291254896486]
  スパイキングニューラルネットワーク(SNN)は、脳内の低出力でフォールトトレラントな情報処理を実現する。 我々は、脳内でよく見られるゆらぎ駆動型体制にインスパイアされたSNNの一般的な戦略を開発する。
  論文  参考訳（メタデータ） (2022-06-21T09:48:49Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• A Synapse-Threshold Synergistic Learning Approach for Spiking Neural Networks [1.8556712517882232]
  スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。 本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
  論文  参考訳（メタデータ） (2022-06-10T06:41:36Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
  スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。 適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。 MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
  論文  参考訳（メタデータ） (2021-05-27T08:38:31Z)
• Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks [1.8515971640245998]
  スパイクニューラルネットワーク(SNN)は、より生物学的に実行可能で、より強力なニューラルネットワークモデルとして研究されている。 本稿では、新規なサロゲート勾配と、チューナブルおよび適応性スピッキングニューロンの繰り返しネットワークがSNNの最先端を生み出す様子を示す。
  論文  参考訳（メタデータ） (2021-03-12T10:27:29Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。