論文の概要: Continuous Spiking Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2404.01897v1
• Date: Tue, 2 Apr 2024 12:36:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 16:28:46.621656
• Title: Continuous Spiking Graph Neural Networks
• Title（参考訳）: 連続スパイクグラフニューラルネットワーク
• Authors: Nan Yin, Mengzhu Wan, Li Shen, Hitesh Laxmichand Patel, Baopu Li, Bin Gu, Huan Xiong,
• Abstract要約: 連続グラフニューラルネットワーク(CGNN)は、既存の離散グラフニューラルネットワーク(GNN)を一般化する能力によって注目されている。 本稿では,2階ODEを用いたCOS-GNNの高次構造について紹介する。 我々は、COS-GNNが爆発や消滅の問題を効果的に軽減し、ノード間の長距離依存関係を捕捉できるという理論的証明を提供する。
• 参考スコア（独自算出の注目度）: 43.28609498855841
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous graph neural networks (CGNNs) have garnered significant attention due to their ability to generalize existing discrete graph neural networks (GNNs) by introducing continuous dynamics. They typically draw inspiration from diffusion-based methods to introduce a novel propagation scheme, which is analyzed using ordinary differential equations (ODE). However, the implementation of CGNNs requires significant computational power, making them challenging to deploy on battery-powered devices. Inspired by recent spiking neural networks (SNNs), which emulate a biological inference process and provide an energy-efficient neural architecture, we incorporate the SNNs with CGNNs in a unified framework, named Continuous Spiking Graph Neural Networks (COS-GNN). We employ SNNs for graph node representation at each time step, which are further integrated into the ODE process along with time. To enhance information preservation and mitigate information loss in SNNs, we introduce the high-order structure of COS-GNN, which utilizes the second-order ODE for spiking representation and continuous propagation. Moreover, we provide the theoretical proof that COS-GNN effectively mitigates the issues of exploding and vanishing gradients, enabling us to capture long-range dependencies between nodes. Experimental results on graph-based learning tasks demonstrate the effectiveness of the proposed COS-GNN over competitive baselines.
• Abstract（参考訳）: 連続グラフニューラルネットワーク(CGNN)は、連続力学を導入して既存の離散グラフニューラルネットワーク(GNN)を一般化する能力により、大きな注目を集めている。 通常は拡散に基づく手法からインスピレーションを得て、通常の微分方程式(ODE)を用いて解析される新しい伝播スキームを導入する。 しかし、CGNNの実装には計算能力がかなり必要であり、バッテリー駆動デバイスへの展開が困難である。 生物学的推論プロセスをエミュレートし、エネルギー効率のよいニューラルネットワークを提供する最近のスパイキングニューラルネットワーク(SNN)に触発されて、SNNとCGNNを統合されたフレームワーク、Continuous Spiking Graph Neural Networks(COS-GNN)に組み込んだ。 我々は各ステップでグラフノード表現にSNNを使用し、時間とともにODEプロセスに統合される。 SNNにおける情報保存と情報損失を軽減するため,2次ODEをスパイク表現と連続伝播に用いたCOS-GNNの高次構造を導入する。 さらに、COS-GNNが爆発や消滅の問題を効果的に軽減し、ノード間の長距離依存関係を捕捉できるという理論的証明を提供する。 グラフベースの学習課題に関する実験結果から,提案したCOS-GNNの競争ベースラインに対する効果が示された。

関連論文リスト

• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• Unveiling the Potential of Spiking Dynamics in Graph Representation Learning through Spatial-Temporal Normalization and Coding Strategies [15.037300421748107]
  スパイキングニューラルネットワーク(SNN)は、ニューロンのエネルギー効率と事象駆動処理を再現する可能性から、かなりの関心を集めている。 本研究は,グラフ表現学習の強化におけるスパイキングダイナミクスの特質とメリットについて考察する。 スパイキングダイナミクスを取り入れたスパイクに基づくグラフニューラルネットワークモデルを提案し,新しい時空間特徴正規化(STFN)技術により強化した。
  論文  参考訳（メタデータ） (2024-07-30T02:53:26Z)
• SiGNN: A Spike-induced Graph Neural Network for Dynamic Graph Representation Learning [42.716744098170835]
  本研究では,動的グラフ上での時空間表現の強化を学習するための,スパイク誘発グラフニューラルネットワーク(SiGNN)という新しいフレームワークを提案する。 TA機構を利用して、SiGNNはSNNの時間的ダイナミクスを効果的に活用するだけでなく、スパイクのバイナリの性質によって課される表現的制約を積極的に回避する。 実世界の動的グラフデータセットに対する大規模な実験は、ノード分類タスクにおけるSiGNNの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-11T05:19:43Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Re-Think and Re-Design Graph Neural Networks in Spaces of Continuous Graph Diffusion Functionals [7.6435511285856865]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワークや生体システムのようなドメインで広く使われている。 GNNのローカリティ仮定は、グラフ内の長距離依存関係とグローバルパターンをキャプチャする能力を損なう。 本稿では,ブラヒクロニスト問題から着想を得た変分解析に基づく新しい帰納バイアスを提案する。
  論文  参考訳（メタデータ） (2023-07-01T04:44:43Z)
• Spiking Variational Graph Auto-Encoders for Efficient Graph Representation Learning [10.65760757021534]
  本稿では,効率的なグラフ表現学習のためのSNNに基づく深層生成手法,すなわちSpking Variational Graph Auto-Encoders (S-VGAE)を提案する。 我々は,複数のベンチマークグラフデータセット上でリンク予測実験を行い,この結果から,グラフ表現学習における他のANNやSNNに匹敵する性能で,より少ないエネルギーを消費することを示した。
  論文  参考訳（メタデータ） (2022-10-24T12:54:41Z)
• Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning [9.88508686848173]
  内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。 ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。 本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:20:16Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Graph Neural Networks for Motion Planning [108.51253840181677]
  低次元問題に対する高密度固定グラフ上のGNNと高次元問題に対するサンプリングベースGNNの2つの手法を提案する。 RRT(Rapidly-Exploring Random Trees)におけるクリティカルノードの特定やサンプリング分布の学習といった計画上の問題にGNNが取り組む能力について検討する。 臨界サンプリング、振り子、6つのDoFロボットアームによる実験では、GNNは従来の分析手法の改善だけでなく、完全に接続されたニューラルネットワークや畳み込みニューラルネットワークを用いた学習アプローチも示している。
  論文  参考訳（メタデータ） (2020-06-11T08:19:06Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。