論文の概要: Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning

• arxiv url: http://arxiv.org/abs/2107.06865v1
• Date: Wed, 30 Jun 2021 11:20:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-18 12:23:12.388458
• Title: Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning
• Title（参考訳）: グラフ学習における時空間特徴正規化を用いた爆発スパイキングダイナミクス
• Authors: Mingkun Xu, Yujie Wu, Lei Deng, Faqiang Liu, Guoqi Li, Jing Pei
• Abstract要約: 内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。 ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。 本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.88508686848173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biological spiking neurons with intrinsic dynamics underlie the powerful representation and learning capabilities of the brain for processing multimodal information in complex environments. Despite recent tremendous progress in spiking neural networks (SNNs) for handling Euclidean-space tasks, it still remains challenging to exploit SNNs in processing non-Euclidean-space data represented by graph data, mainly due to the lack of effective modeling framework and useful training techniques. Here we present a general spike-based modeling framework that enables the direct training of SNNs for graph learning. Through spatial-temporal unfolding for spiking data flows of node features, we incorporate graph convolution filters into spiking dynamics and formalize a synergistic learning paradigm. Considering the unique features of spike representation and spiking dynamics, we propose a spatial-temporal feature normalization (STFN) technique suitable for SNN to accelerate convergence. We instantiate our methods into two spiking graph models, including graph convolution SNNs and graph attention SNNs, and validate their performance on three node-classification benchmarks, including Cora, Citeseer, and Pubmed. Our model can achieve comparable performance with the state-of-the-art graph neural network (GNN) models with much lower computation costs, demonstrating great benefits for the execution on neuromorphic hardware and prompting neuromorphic applications in graphical scenarios.
• Abstract（参考訳）: 内在的なダイナミクスを持つ生物学的スパイキングニューロンは、複雑な環境でマルチモーダル情報を処理するための脳の強力な表現と学習能力を持つ。 ユークリッド空間タスクを扱うためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、グラフデータで表される非ユークリッド空間データの処理において、SNNを活用することは依然として困難である。 本稿では,グラフ学習のためのsnsの直接トレーニングを可能にする汎用スパイクベースモデリングフレームワークを提案する。 ノード特徴のスパイクデータフローの時空間展開を通じて、グラフ畳み込みフィルタをスパイクダイナミクスに組み込み、シナジスティック学習パラダイムを定式化する。 スパイク表現とスパイキングダイナミクスのユニークな特徴を考慮して,snnに適した空間-時間的特徴正規化(stfn)手法を提案する。 提案手法をグラフ畳み込みSNNやグラフアテンションSNNを含む2つのスパイキンググラフモデルにインスタンス化し,Cora,Citeseer,Pubmedなどのノード分類ベンチマークでそれらの性能を検証する。 我々のモデルは、計算コストがはるかに低い最先端グラフニューラルネットワーク(GNN)モデルと同等の性能を達成でき、ニューロモルフィックハードウェア上での実行とグラフィカルシナリオにおけるニューロモルフィックな応用の促進に大きなメリットを示す。

関連論文リスト

• Unveiling the Potential of Spiking Dynamics in Graph Representation Learning through Spatial-Temporal Normalization and Coding Strategies [15.037300421748107]
  スパイキングニューラルネットワーク(SNN)は、ニューロンのエネルギー効率と事象駆動処理を再現する可能性から、かなりの関心を集めている。 本研究は,グラフ表現学習の強化におけるスパイキングダイナミクスの特質とメリットについて考察する。 スパイキングダイナミクスを取り入れたスパイクに基づくグラフニューラルネットワークモデルを提案し,新しい時空間特徴正規化(STFN)技術により強化した。
  論文  参考訳（メタデータ） (2024-07-30T02:53:26Z)
• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• A survey of dynamic graph neural networks [26.162035361191805]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから効果的にマイニングし学習するための強力なツールとして登場した。 本稿では,基本的な概念,鍵となる技術,そして最先端の動的GNNモデルについて概観する。
  論文  参考訳（メタデータ） (2024-04-28T15:07:48Z)
• Continuous Spiking Graph Neural Networks [43.28609498855841]
  連続グラフニューラルネットワーク(CGNN)は、既存の離散グラフニューラルネットワーク(GNN)を一般化する能力によって注目されている。 本稿では,2階ODEを用いたCOS-GNNの高次構造について紹介する。 我々は、COS-GNNが爆発や消滅の問題を効果的に軽減し、ノード間の長距離依存関係を捕捉できるという理論的証明を提供する。
  論文  参考訳（メタデータ） (2024-04-02T12:36:40Z)
• SiGNN: A Spike-induced Graph Neural Network for Dynamic Graph Representation Learning [42.716744098170835]
  本研究では,動的グラフ上での時空間表現の強化を学習するための,スパイク誘発グラフニューラルネットワーク(SiGNN)という新しいフレームワークを提案する。 TA機構を利用して、SiGNNはSNNの時間的ダイナミクスを効果的に活用するだけでなく、スパイクのバイナリの性質によって課される表現的制約を積極的に回避する。 実世界の動的グラフデータセットに対する大規模な実験は、ノード分類タスクにおけるSiGNNの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-11T05:19:43Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition [97.14064057840089]
  カルチャーネットワーク(GCN)は、スケルトンをグラフとしてモデル化することで、スケルトンに基づく人間の行動認識の性能を約束する。 最近提案されたG時間に基づく手法のほとんどは、ネットワークの各層におけるグラフ構造を学習することで、性能を向上させる。
  論文  参考訳（メタデータ） (2020-11-07T19:03:04Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal Learning of Deep Spiking Neural Network [7.503685643036081]
  空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。 ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。 本稿では,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-19T01:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。