論文の概要: The Role of Temporal Hierarchy in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2407.18838v1
• Date: Fri, 26 Jul 2024 16:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 12:59:26.355674
• Title: The Role of Temporal Hierarchy in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける時間階層の役割
• Authors: Filippo Moro, Pau Vilimelis Aceituno, Laura Kriener, Melika Payvand,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、空間的パラメータと時間的パラメータの両方を活用することにより、リッチ時間信号処理の可能性を秘めている。 最近、時間定数は、ネットワークで必要とされるパラメータの総数を減らすのに役立つ計算上の利点があることが示されている。 最適化のコストを削減するために、この場合、時間領域においてアーキテクチャバイアスを適用することができる。 本稿では,SNNの隠蔽層に時間的表現の階層を付加し,そのような帰納的バイアスが性能を向上させることを明らかにする。
• 参考スコア（独自算出の注目度）: 2.0881857682885836
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Spiking Neural Networks (SNNs) have the potential for rich spatio-temporal signal processing thanks to exploiting both spatial and temporal parameters. The temporal dynamics such as time constants of the synapses and neurons and delays have been recently shown to have computational benefits that help reduce the overall number of parameters required in the network and increase the accuracy of the SNNs in solving temporal tasks. Optimizing such temporal parameters, for example, through gradient descent, gives rise to a temporal architecture for different problems. As has been shown in machine learning, to reduce the cost of optimization, architectural biases can be applied, in this case in the temporal domain. Such inductive biases in temporal parameters have been found in neuroscience studies, highlighting a hierarchy of temporal structure and input representation in different layers of the cortex. Motivated by this, we propose to impose a hierarchy of temporal representation in the hidden layers of SNNs, highlighting that such an inductive bias improves their performance. We demonstrate the positive effects of temporal hierarchy in the time constants of feed-forward SNNs applied to temporal tasks (Multi-Time-Scale XOR and Keyword Spotting, with a benefit of up to 4.1% in classification accuracy). Moreover, we show that such architectural biases, i.e. hierarchy of time constants, naturally emerge when optimizing the time constants through gradient descent, initialized as homogeneous values. We further pursue this proposal in temporal convolutional SNNs, by introducing the hierarchical bias in the size and dilation of temporal kernels, giving rise to competitive results in popular temporal spike-based datasets.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、空間的パラメータと時間的パラメータの両方を活用することにより、豊かな時空間信号処理の可能性を秘めている。 シナプスやニューロンの時間定数や遅延などの時間的ダイナミクスは、最近、ネットワークに必要なパラメータの総数を減らし、時間的タスクを解く際にSNNの精度を高めるのに役立つ計算上の利点があることが示されている。 このような時間的パラメータを最適化することは、例えば勾配降下によって、異なる問題に対する時間的アーキテクチャを生み出す。 機械学習で示されているように、最適化のコストを削減するために、アーキテクチャバイアスを適用することができる。 このような時間的パラメータの誘導バイアスは神経科学の研究で発見され、皮質の異なる層における時間的構造と入力表現の階層性を強調している。 そこで我々は,SNNの隠蔽層に時間的表現の階層構造を付加することを提案し,そのような帰納的バイアスがそれらの性能を改善することを強調した。 時間的タスクに適用したフィードフォワードSNNの時間定数における時間的階層の正の効果を示す(Multi-Time-Scale XOR と Keyword Spotting)。 さらに,時間定数の階層構造であるそのようなアーキテクチャバイアスは,勾配降下による時間定数の最適化時に自然に出現し,等質な値として初期化されることを示す。 我々は、時間的畳み込みSNNにおいて、この提案をさらに追求し、時間的カーネルのサイズと拡張における階層的バイアスを導入し、一般的な時間的スパイクベースのデータセットで競合する結果をもたらす。

関連論文リスト

• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Temporal Reversed Training for Spiking Neural Networks with Generalized Spatio-Temporal Representation [3.5624857747396814]
  スパイニューラルネットワーク(SNN)は、超低エネルギーコンピューティングパラダイムとして広く注目を集めている。 近年,SNNの特徴抽出能力の向上に焦点が当てられているが,非効率性や準最適性能に悩まされている。 私たち。 SNNの時間的性能を最適化するために,TRT法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T06:23:38Z)
• Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate [16.4160685571157]
  リカレントニューラルネットワーク(RNN)は、時間的依存をモデル化する能力で広く認識されている。 本稿では、ゲートRNNのための新しい遅延メモリユニット(DMU)を提案する。 DMUは遅延線構造と遅延ゲートをバニラRNNに組み込み、時間的相互作用を高め、時間的信用割り当てを容易にする。
  論文  参考訳（メタデータ） (2023-10-23T14:29:48Z)
• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• STSC-SNN: Spatio-Temporal Synaptic Connection with Temporal Convolution and Attention for Spiking Neural Networks [7.422913384086416]
  ニューロモルフィックコンピューティングのアルゴリズムモデルの一つであるスパイキングニューラルネットワーク(SNN)は、時間的処理能力のために多くの研究注目を集めている。 SNNの既存のシナプス構造は、ほぼ完全な接続や空間的2次元畳み込みであり、どちらも時間的依存関係を適切に抽出できない。 生体シナプスからインスピレーションを得てシナプス接続SNNモデルを提案し,シナプス接続の時間的受容場を強化する。 時間的依存を伴うシナプスモデルの提供は、分類タスクにおけるSNNの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:13:22Z)
• Scalable Spatiotemporal Graph Neural Networks [14.415967477487692]
  グラフニューラルネットワーク(GNN)は、しばしば予測アーキテクチャのコアコンポーネントである。 ほとんどの時間前GNNでは、計算複雑性はグラフ内のリンクの回数のシーケンスの長さの2乗係数までスケールする。 本稿では,時間的・空間的両方のダイナミックスを効率的に符号化するスケーラブルなアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-09-14T09:47:38Z)
• Space-Time Graph Neural Networks [104.55175325870195]
  本研究では、時空間グラフニューラルネットワーク(ST-GNN)を導入し、時間変動ネットワークデータの時空間トポロジを共同処理する。 解析の結果,システムのネットワークトポロジと時間進化の変動はST-GNNの性能に大きく影響しないことがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:08:44Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Multi-Tones' Phase Coding (MTPC) of Interaural Time Difference by Spiking Neural Network [68.43026108936029]
  雑音の多い実環境下での正確な音像定位のための純粋スパイクニューラルネットワーク(SNN)に基づく計算モデルを提案する。 このアルゴリズムを,マイクロホンアレイを用いたリアルタイムロボットシステムに実装する。 実験の結果, 平均誤差方位は13度であり, 音源定位に対する他の生物学的に妥当なニューロモルフィックアプローチの精度を上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T08:22:56Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。