論文の概要: Heterogeneous Neuronal and Synaptic Dynamics for Spike-Efficient Unsupervised Learning: Theory and Design Principles

• arxiv url: http://arxiv.org/abs/2302.11618v2
• Date: Sat, 5 Aug 2023 15:22:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 00:00:10.158052
• Title: Heterogeneous Neuronal and Synaptic Dynamics for Spike-Efficient Unsupervised Learning: Theory and Design Principles
• Title（参考訳）: スパイク効率的な教師なし学習のための不均一神経とシナプスダイナミクス:理論と設計原理
• Authors: Biswadeep Chakraborty and Saibal Mukhopadhyay
• Abstract要約: 我々は、ニューロンの統合/緩和ダイナミクスの多様性が、RSNNがより異なる入力パターン(より高いメモリ容量)を学習する能力を向上させることを解析的に示す。 さらに, シナプスのヘテロジニアススパイク-タイミング-依存性-Plasticity (STDP) はスパイク活性を低下させるが, メモリ容量は維持することを示した。
• 参考スコア（独自算出の注目度）: 13.521272923545409
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper shows that the heterogeneity in neuronal and synaptic dynamics reduces the spiking activity of a Recurrent Spiking Neural Network (RSNN) while improving prediction performance, enabling spike-efficient (unsupervised) learning. We analytically show that the diversity in neurons' integration/relaxation dynamics improves an RSNN's ability to learn more distinct input patterns (higher memory capacity), leading to improved classification and prediction performance. We further prove that heterogeneous Spike-Timing-Dependent-Plasticity (STDP) dynamics of synapses reduce spiking activity but preserve memory capacity. The analytical results motivate Heterogeneous RSNN design using Bayesian optimization to determine heterogeneity in neurons and synapses to improve $\mathcal{E}$, defined as the ratio of spiking activity and memory capacity. The empirical results on time series classification and prediction tasks show that optimized HRSNN increases performance and reduces spiking activity compared to a homogeneous RSNN.
• Abstract（参考訳）: 本稿では, 神経・シナプス力学の不均一性により, リカレントスパイキングニューラルネットワーク(RSNN)のスパイク活性が低下し, 予測性能が向上し, スパイク効率(教師なし)学習が可能となることを示す。 ニューロンの結合/相対化ダイナミクスの多様性は、rsnnのより異なる入力パターン(メモリ容量が高い)を学習する能力を改善し、分類と予測性能の向上に繋がることを示した。 さらに,synapsesのspike-timing-dependent-plasticity(stdp)ダイナミクスはスパイキング活性を減少させるが,メモリ容量は維持できることを示した。 解析結果は,スパイキング活性と記憶容量の比として定義される$\mathcal{e}$を改善するために,ニューロンとシナプスの異種性を決定するためにベイズ最適化を用いた異種rsnn設計を動機付けている。 時系列分類および予測タスクにおける実験結果から,hrsnnの最適化は,均質なrsnnと比較して,性能の向上とスパイキング活性の低減に寄与することが示された。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Unveiling the Potential of Spiking Dynamics in Graph Representation Learning through Spatial-Temporal Normalization and Coding Strategies [15.037300421748107]
  スパイキングニューラルネットワーク(SNN)は、ニューロンのエネルギー効率と事象駆動処理を再現する可能性から、かなりの関心を集めている。 本研究は,グラフ表現学習の強化におけるスパイキングダイナミクスの特質とメリットについて考察する。 スパイキングダイナミクスを取り入れたスパイクに基づくグラフニューラルネットワークモデルを提案し,新しい時空間特徴正規化(STFN)技術により強化した。
  論文  参考訳（メタデータ） (2024-07-30T02:53:26Z)
• Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。 本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
  論文  参考訳（メタデータ） (2024-07-08T23:33:12Z)
• Understanding the Convergence in Balanced Resonate-and-Fire Neurons [1.4186974630564675]
  Resonate-and-Fire(RF)ニューロンは、スパイキングニューラルネットワーク(SNN)におけるインテグレーターニューロンの興味深い補体モデルである 最近提案されたリゾネート・アンド・ファイア(BRF)ニューロンは、タスク性能、スパイク、パラメータ効率において重要な方法論的進歩を示した。 本稿は、これらの収束優位性の出現の経緯と理由について、さらなる直感を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-06-01T10:04:55Z)
• Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。 本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
  論文  参考訳（メタデータ） (2024-05-27T05:53:30Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Expressive architectures enhance interpretability of dynamics-based neural population models [2.294014185517203]
  シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。 広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
  論文  参考訳（メタデータ） (2022-12-07T16:44:26Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Ensemble plasticity and network adaptability in SNNs [0.726437825413781]
  人工スパイキングニューラルネットワーク(ASNN)は、離散的なイベントベース(スパイク)計算のため、より優れた情報処理効率を約束する。 本研究では,スパイク活動のみを用いたエントロピーとネットワークアクティベーションに基づく新しいアンサンブル学習手法を提案する。 その結果, スパイクレートの低いニューロンクラスターを刈り取ると, 一般化や性能の低下が予想されることがわかった。
  論文  参考訳（メタデータ） (2022-03-11T01:14:51Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。