論文の概要: Exploring Temporal Information Dynamics in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2211.14406v2
• Date: Wed, 30 Nov 2022 13:28:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 15:01:13.205519
• Title: Exploring Temporal Information Dynamics in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける時間情報ダイナミクスの探索
• Authors: Youngeun Kim, Yuhang Li, Hyoungseob Park, Yeshwanth Venkatesha, Anna Hambitzer, Priyadarshini Panda
• Abstract要約: Spiking Neural Network (SNN) は、SNNがスパイクの時間的情報ダイナミクスを利用する可能性があることを述べている。 SNNの内部における時間的情報力学とは何か? 時間的情報のダイナミクスは全体的な学習性能にどのように影響しますか?
• 参考スコア（独自算出の注目度）: 9.72397351715776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing Spiking Neural Network (SNN) works state that SNNs may utilize temporal information dynamics of spikes. However, an explicit analysis of temporal information dynamics is still missing. In this paper, we ask several important questions for providing a fundamental understanding of SNNs: What are temporal information dynamics inside SNNs? How can we measure the temporal information dynamics? How do the temporal information dynamics affect the overall learning performance? To answer these questions, we estimate the Fisher Information of the weights to measure the distribution of temporal information during training in an empirical manner. Surprisingly, as training goes on, Fisher information starts to concentrate in the early timesteps. After training, we observe that information becomes highly concentrated in earlier few timesteps, a phenomenon we refer to as temporal information concentration. We observe that the temporal information concentration phenomenon is a common learning feature of SNNs by conducting extensive experiments on various configurations such as architecture, dataset, optimization strategy, time constant, and timesteps. Furthermore, to reveal how temporal information concentration affects the performance of SNNs, we design a loss function to change the trend of temporal information. We find that temporal information concentration is crucial to building a robust SNN but has little effect on classification accuracy. Finally, we propose an efficient iterative pruning method based on our observation on temporal information concentration. Code is available at https://github.com/Intelligent-Computing-Lab-Yale/Exploring-Temporal-Information-Dynamics-in-Spiking -Neural-Networks.
• Abstract（参考訳）: 現存するほとんどのスパイキングニューラルネットワーク(SNN)は、SNNがスパイクの時間的情報ダイナミクスを利用する可能性があると述べている。 しかし、時間的情報ダイナミクスの明示的な分析はまだ欠落している。 本稿では、SNNの基本的な理解を提供するために、いくつかの重要な質問を行う: SNNの内部の時間的情報力学とは何か? 時間情報のダイナミクスをどのように測定するか? 時間的情報ダイナミクスは学習全体のパフォーマンスにどのように影響するか? これらの疑問に答えるために,重みのフィッシャー情報を推定し,訓練中の時間情報の分布を実証的に測定する。 驚くべきことに、訓練が進むにつれて、フィッシャーの情報は早期の段階に集中し始める。 トレーニング後,情報収集の時間的集中度は,時間的情報集中度という現象に大きく依存することが明らかとなった。 時間的情報集中現象は,アーキテクチャ,データセット,最適化戦略,時間定数,時間ステップなどの様々な構成について広範な実験を行い,snsの一般的な学習特徴である。 さらに、時間情報集中がSNNの性能に与える影響を明らかにするために、時間情報の動向を変えるための損失関数を設計する。 SNNの構築には時間的情報集中が不可欠であるが,分類精度にはほとんど影響しない。 最後に,時間的情報集中の観測に基づく効率的な反復的刈り取り手法を提案する。 コードはhttps://github.com/Intelligent-Computing-Lab-Yale/Exploring-Temporal-Information-Dynamics-in-Spiking -Neural-Networksで公開されている。

関連論文リスト

• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
  スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。 本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。 提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
  論文  参考訳（メタデータ） (2024-04-26T22:52:23Z)
• Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
  スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。 SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。 本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:23:50Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks [5.484391472233163]
  ディープラーニングの成功は、バックプロパゲーションとは分離できない。 本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。 次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
  論文  参考訳（メタデータ） (2021-10-17T15:55:51Z)
• Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks [36.16846259899793]
  スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力、消費電力の低さ、高い生物学的信頼性により、膨大な研究関心を集めている。 既存の学習方法はウェイトのみを学習し、単一のスパイキングニューロンのダイナミクスを決定する膜関連パラメータを手動でチューニングする必要がある。 本稿では,脳の領域で膜関連パラメータが異なることの観察から着想を得て,シナプス重みだけでなく,SNNの膜時間定数も学習可能なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-11T14:35:42Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal Learning of Deep Spiking Neural Network [7.503685643036081]
  空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。 ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。 本稿では,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-19T01:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。