論文の概要: Spiking Variational Graph Auto-Encoders for Efficient Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2211.01952v1
• Date: Mon, 24 Oct 2022 12:54:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 14:39:46.715527
• Title: Spiking Variational Graph Auto-Encoders for Efficient Graph Representation Learning
• Title（参考訳）: 効率的なグラフ表現学習のためのスパイキング変分グラフ自動エンコーダ
• Authors: Hanxuan Yang, Ruike Zhang, Qingchao Kong, Wenji Mao
• Abstract要約: 本稿では,効率的なグラフ表現学習のためのSNNに基づく深層生成手法,すなわちSpking Variational Graph Auto-Encoders (S-VGAE)を提案する。 我々は,複数のベンチマークグラフデータセット上でリンク予測実験を行い,この結果から,グラフ表現学習における他のANNやSNNに匹敵する性能で,より少ないエネルギーを消費することを示した。
• 参考スコア（独自算出の注目度）: 10.65760757021534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph representation learning is a fundamental research issue and benefits a wide range of applications on graph-structured data. Conventional artificial neural network-based methods such as graph neural networks (GNNs) and variational graph auto-encoders (VGAEs) have achieved promising results in learning on graphs, but they suffer from extremely high energy consumption during training and inference stages. Inspired by the bio-fidelity and energy-efficiency of spiking neural networks (SNNs), recent methods attempt to adapt GNNs to the SNN framework by substituting spiking neurons for the activation functions. However, existing SNN-based GNN methods cannot be applied to the more general multi-node representation learning problem represented by link prediction. Moreover, these methods did not fully exploit the bio-fidelity of SNNs, as they still require costly multiply-accumulate (MAC) operations, which severely harm the energy efficiency. To address the above issues and improve energy efficiency, in this paper, we propose an SNN-based deep generative method, namely the Spiking Variational Graph Auto-Encoders (S-VGAE) for efficient graph representation learning. To deal with the multi-node problem, we propose a probabilistic decoder that generates binary latent variables as spiking node representations and reconstructs graphs via the weighted inner product. To avoid the MAC operations for energy efficiency, we further decouple the propagation and transformation layers of conventional GNN aggregators. We conduct link prediction experiments on multiple benchmark graph datasets, and the results demonstrate that our model consumes significantly lower energy with the performances superior or comparable to other ANN- and SNN-based methods for graph representation learning.
• Abstract（参考訳）: グラフ表現学習は基本的な研究課題であり、グラフ構造化データに対する幅広い応用に恩恵をもたらす。 グラフニューラルネットワーク(gnns)や変分グラフオートエンコーダ(vgaes)といった従来の人工ニューラルネットワークベースの手法は、グラフ上で学習することで有望な結果を得たが、トレーニングや推論の段階では非常に高いエネルギー消費に苦しめられている。 スパイキングニューラルネットワーク(SNN)の生体忠実性とエネルギー効率に触発された近年の手法は、スパイキングニューロンを活性化機能に置換することにより、GNNをSNNフレームワークに適応させようと試みている。 しかし、既存のSNNベースのGNN法は、リンク予測によって表現されるより一般的なマルチノード表現学習問題には適用できない。 さらに、これらの手法は、エネルギー効率を著しく損なうコストのかかる乗算(MAC)操作を必要とするため、SNNの生物忠実性を十分に活用しなかった。 上記の問題に対処し、エネルギー効率を向上させるために、SNNに基づく深層生成手法、すなわち、効率的なグラフ表現学習のためのスパイキング変分グラフオートエンコーダ(S-VGAE)を提案する。 マルチノード問題に対処するため、重み付き内積を経由したグラフのスパイクノード表現としてバイナリ潜在変数を生成する確率デコーダを提案する。 エネルギー効率のMAC操作を回避するため、従来のGNNアグリゲータの伝搬層と変換層をさらに分離する。 我々は,複数のベンチマークグラフデータセット上でリンク予測実験を行い,この結果から,グラフ表現学習における他のANNやSNNに匹敵する性能で,より少ないエネルギーを消費することを示した。

関連論文リスト

• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• Continuous Spiking Graph Neural Networks [43.28609498855841]
  連続グラフニューラルネットワーク(CGNN)は、既存の離散グラフニューラルネットワーク(GNN)を一般化する能力によって注目されている。 本稿では,2階ODEを用いたCOS-GNNの高次構造について紹介する。 我々は、COS-GNNが爆発や消滅の問題を効果的に軽減し、ノード間の長距離依存関係を捕捉できるという理論的証明を提供する。
  論文  参考訳（メタデータ） (2024-04-02T12:36:40Z)
• Self-supervision meets kernel graph neural models: From architecture to augmentations [36.388069423383286]
  カーネルグラフニューラルネットワーク(KGNN)の設計と学習の改善 我々はLGA(Latent graph augmentation)と呼ばれる新しい構造保存グラフデータ拡張法を開発した。 提案モデルは,最先端のグラフ表現学習フレームワークに匹敵する,あるいは時として優れる性能を実現する。
  論文  参考訳（メタデータ） (2023-10-17T14:04:22Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Spiking Graph Convolutional Networks [19.36064180392385]
  SpikingGCNは、GCNの埋め込みとSNNの生体忠実性特性を統合することを目的としたエンドツーエンドフレームワークである。 ニューロモルフィックチップ上でのスパイキングGCNは、グラフデータ解析にエネルギー効率の明確な利点をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-05T16:44:36Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。