論文の概要: Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization
in Graph Learning
- arxiv url: http://arxiv.org/abs/2107.06865v1
- Date: Wed, 30 Jun 2021 11:20:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-18 12:23:12.388458
- Title: Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization
in Graph Learning
- Title(参考訳): グラフ学習における時空間特徴正規化を用いた爆発スパイキングダイナミクス
- Authors: Mingkun Xu, Yujie Wu, Lei Deng, Faqiang Liu, Guoqi Li, Jing Pei
- Abstract要約: 内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。
ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。
本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 9.88508686848173
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Biological spiking neurons with intrinsic dynamics underlie the powerful
representation and learning capabilities of the brain for processing multimodal
information in complex environments. Despite recent tremendous progress in
spiking neural networks (SNNs) for handling Euclidean-space tasks, it still
remains challenging to exploit SNNs in processing non-Euclidean-space data
represented by graph data, mainly due to the lack of effective modeling
framework and useful training techniques. Here we present a general spike-based
modeling framework that enables the direct training of SNNs for graph learning.
Through spatial-temporal unfolding for spiking data flows of node features, we
incorporate graph convolution filters into spiking dynamics and formalize a
synergistic learning paradigm. Considering the unique features of spike
representation and spiking dynamics, we propose a spatial-temporal feature
normalization (STFN) technique suitable for SNN to accelerate convergence. We
instantiate our methods into two spiking graph models, including graph
convolution SNNs and graph attention SNNs, and validate their performance on
three node-classification benchmarks, including Cora, Citeseer, and Pubmed. Our
model can achieve comparable performance with the state-of-the-art graph neural
network (GNN) models with much lower computation costs, demonstrating great
benefits for the execution on neuromorphic hardware and prompting neuromorphic
applications in graphical scenarios.
- Abstract(参考訳): 内在的なダイナミクスを持つ生物学的スパイキングニューロンは、複雑な環境でマルチモーダル情報を処理するための脳の強力な表現と学習能力を持つ。
ユークリッド空間タスクを扱うためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、グラフデータで表される非ユークリッド空間データの処理において、SNNを活用することは依然として困難である。
本稿では,グラフ学習のためのsnsの直接トレーニングを可能にする汎用スパイクベースモデリングフレームワークを提案する。
ノード特徴のスパイクデータフローの時空間展開を通じて、グラフ畳み込みフィルタをスパイクダイナミクスに組み込み、シナジスティック学習パラダイムを定式化する。
スパイク表現とスパイキングダイナミクスのユニークな特徴を考慮して,snnに適した空間-時間的特徴正規化(stfn)手法を提案する。
提案手法をグラフ畳み込みSNNやグラフアテンションSNNを含む2つのスパイキンググラフモデルにインスタンス化し,Cora,Citeseer,Pubmedなどのノード分類ベンチマークでそれらの性能を検証する。
我々のモデルは、計算コストがはるかに低い最先端グラフニューラルネットワーク(GNN)モデルと同等の性能を達成でき、ニューロモルフィックハードウェア上での実行とグラフィカルシナリオにおけるニューロモルフィックな応用の促進に大きなメリットを示す。
関連論文リスト
- Attentional Graph Neural Networks for Robust Massive Network
Localization [20.416879207269446]
グラフニューラルネットワーク(GNN)は、機械学習における分類タスクの顕著なツールとして登場した。
本稿では,GNNとアテンション機構を統合し,ネットワークローカライゼーションという難解な非線形回帰問題に対処する。
我々はまず,厳密な非視線(NLOS)条件下でも例外的な精度を示すグラフ畳み込みネットワーク(GCN)に基づく新しいネットワークローカライゼーション手法を提案する。
論文 参考訳(メタデータ) (2023-11-28T15:05:13Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Graph Sequential Neural ODE Process for Link Prediction on Dynamic and
Sparse Graphs [33.294977897987685]
動的グラフ上のリンク予測は、グラフマイニングにおいて重要な課題である。
動的グラフニューラルネットワーク(DGNN)に基づく既存のアプローチは通常、かなりの量の履歴データを必要とする。
グラフシークエンシャルニューラルネットワークプロセス(GSNOP)と呼ばれる,ニューラルプロセスに基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2022-11-15T23:21:02Z) - STSC-SNN: Spatio-Temporal Synaptic Connection with Temporal Convolution
and Attention for Spiking Neural Networks [7.422913384086416]
ニューロモルフィックコンピューティングのアルゴリズムモデルの一つであるスパイキングニューラルネットワーク(SNN)は、時間的処理能力のために多くの研究注目を集めている。
SNNの既存のシナプス構造は、ほぼ完全な接続や空間的2次元畳み込みであり、どちらも時間的依存関係を適切に抽出できない。
生体シナプスからインスピレーションを得てシナプス接続SNNモデルを提案し,シナプス接続の時間的受容場を強化する。
時間的依存を伴うシナプスモデルの提供は、分類タスクにおけるSNNの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:13:22Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - On the spatial attention in Spatio-Temporal Graph Convolutional Networks
for skeleton-based human action recognition [97.14064057840089]
カルチャーネットワーク(GCN)は、スケルトンをグラフとしてモデル化することで、スケルトンに基づく人間の行動認識の性能を約束する。
最近提案されたG時間に基づく手法のほとんどは、ネットワークの各層におけるグラフ構造を学習することで、性能を向上させる。
論文 参考訳(メタデータ) (2020-11-07T19:03:04Z) - Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。
SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。
スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
論文 参考訳(メタデータ) (2020-10-27T11:47:42Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal
Learning of Deep Spiking Neural Network [7.503685643036081]
空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。
ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。
本稿では,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-19T01:27:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。