論文の概要: SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention
- arxiv url: http://arxiv.org/abs/2403.15480v1
- Date: Thu, 21 Mar 2024 03:11:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 22:32:02.887639
- Title: SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention
- Title（参考訳）: SpikeGraphormer: グラフアテンションをスパイクする高性能グラフトランス
- Authors: Yundong Sun, Dongjie Zhu, Yansong Wang, Zhaoshuo Tian, Ning Cao, Gregory O'Hared,
- Abstract要約: Graph Transformerは、Graph Neural Networks(GNN)固有の制限を軽減するための、有望なソリューションとして登場した。
本稿では,SNNとグラフ変換器の統合に関する新たな知見を提案し,Spiking Graph Attention (SGA) モジュールを設計する。
SpikeGraphormerは、さまざまなデータセットにわたる既存の最先端アプローチを一貫して上回る。
- 参考スコア（独自算出の注目度）: 1.4126245676224705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Graph Transformers have emerged as a promising solution to alleviate the inherent limitations of Graph Neural Networks (GNNs) and enhance graph representation performance. Unfortunately, Graph Transformers are computationally expensive due to the quadratic complexity inherent in self-attention when applied over large-scale graphs, especially for node tasks. In contrast, spiking neural networks (SNNs), with event-driven and binary spikes properties, can perform energy-efficient computation. In this work, we propose a novel insight into integrating SNNs with Graph Transformers and design a Spiking Graph Attention (SGA) module. The matrix multiplication is replaced by sparse addition and mask operations. The linear complexity enables all-pair node interactions on large-scale graphs with limited GPU memory. To our knowledge, our work is the first attempt to introduce SNNs into Graph Transformers. Furthermore, we design SpikeGraphormer, a Dual-branch architecture, combining a sparse GNN branch with our SGA-driven Graph Transformer branch, which can simultaneously perform all-pair node interactions and capture local neighborhoods. SpikeGraphormer consistently outperforms existing state-of-the-art approaches across various datasets and makes substantial improvements in training time, inference time, and GPU memory cost (10 ~ 20x lower than vanilla self-attention). It also performs well in cross-domain applications (image and text classification). We release our code at https://github.com/PHD-lanyu/SpikeGraphormer.
- Abstract（参考訳）: 最近、グラフトランスフォーマーはグラフニューラルネットワーク(GNN)固有の制限を緩和し、グラフ表現性能を向上させるための有望なソリューションとして登場した。
残念ながら、グラフ変換器は大規模グラフ、特にノードタスクに適用される際に自己注意に固有の二次的な複雑さのため、計算コストが高い。
対照的に、イベント駆動とバイナリスパイク特性を持つスパイクニューラルネットワーク(SNN)は、エネルギー効率のよい計算を行うことができる。
本研究では,SNNとグラフ変換器の統合に関する新たな知見を提案し,Spiking Graph Attention (SGA) モジュールを設計する。
行列乗算はスパース加算とマスク操作に置き換えられる。
線形複雑性により、GPUメモリに制限のある大規模グラフ上での全ペアノードの相互作用が可能になる。
私たちの知る限りでは、SNNをGraph Transformerに導入する最初の試みです。
さらにDual-branchアーキテクチャであるSpikeGraphormerを設計し、スパースGNNブランチとSGA駆動のGraph Transformerブランチを組み合わせた。
SpikeGraphormerは、さまざまなデータセットにわたる既存の最先端アプローチを一貫して上回り、トレーニング時間、推論時間、GPUメモリコスト(バニラ自己アテンションよりも10～20倍低い)で大幅に改善されている。
また、クロスドメインアプリケーション(画像とテキストの分類)でもうまく機能する。
コードをhttps://github.com/PHD-lanyu/SpikeGraphormer.comでリリースしています。
関連論文リスト
- Learning on Large Graphs using Intersecting Communities [13.053266613831447]
MPNNは、各ノードの隣人からのメッセージを集約することで、入力グラフ内の各ノードの表現を反復的に更新する。
MPNNは、あまりスパースではないため、すぐに大きなグラフの禁止になるかもしれない。
本稿では,入力グラフを交差するコミュニティグラフ (ICG) として近似することを提案する。
論文 参考訳（メタデータ） (2024-05-31T09:26:26Z) - Transferability of Graph Neural Networks using Graphon and Sampling Theories [0.0]
グラフニューラルネットワーク(GNN)は、さまざまなドメインでグラフベースの情報を処理するための強力なツールとなっている。
GNNの望ましい特性は転送可能性であり、トレーニングされたネットワークは、その正確性を再トレーニングすることなく、異なるグラフから情報を交換することができる。
我々は,2層グラファイトニューラルネットワーク(WNN)アーキテクチャを明示することにより,GNNへのグラファイトの適用に寄与する。
論文 参考訳（メタデータ） (2023-07-25T02:11:41Z) - Graph Mixup with Soft Alignments [49.61520432554505]
本研究では,画像上での使用に成功しているミキサアップによるグラフデータの増大について検討する。
ソフトアライメントによるグラフ分類のための簡易かつ効果的な混合手法であるS-Mixupを提案する。
論文 参考訳（メタデータ） (2023-06-11T22:04:28Z) - Diffusing Graph Attention [15.013509382069046]
任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。
GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。
8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
論文 参考訳（メタデータ） (2023-03-01T16:11:05Z) - A Generalization of ViT/MLP-Mixer to Graphs [32.86160915431453]
我々は、Graph ViT/MLP-Mixerと呼ばれる新しいGNNのクラスを紹介する。
長距離依存を捕捉し、オーバー・スカッシングの問題を緩和する。
ノード数とエッジ数にリニアな複雑さで、スピードとメモリ効率が向上する。
論文 参考訳（メタデータ） (2022-12-27T03:27:46Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。
このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。
提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文 参考訳（メタデータ） (2022-07-06T08:13:06Z) - Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors
to Sequences [55.329402218608365]
本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。
1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。
その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
論文 参考訳（メタデータ） (2022-02-07T16:38:36Z) - Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs [20.85042364993559]
本稿では,新しいグラフ構造を生成し,タスクに有用な接続を含むグラフトランスフォーマーネットワーク(GTN)を提案する。
Fast Graph Transformer Networks (FastGTNs) は230倍高速で、100倍少ないメモリを使用する。
グラフ変換を、メタパスを超えた非局所的な操作を可能にするノードの意味的近接に拡張する。
論文 参考訳（メタデータ） (2021-06-11T07:56:55Z) - GNNAutoScale: Scalable and Expressive Graph Neural Networks via
Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。
ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。
ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文 参考訳（メタデータ） (2021-06-10T09:26:56Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳（メタデータ） (2021-06-09T17:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。