論文の概要: GT-SVQ: A Linear-Time Graph Transformer for Node Classification Using Spiking Vector Quantization

• arxiv url: http://arxiv.org/abs/2504.11840v1
• Date: Wed, 16 Apr 2025 07:57:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:40:44.546442
• Title: GT-SVQ: A Linear-Time Graph Transformer for Node Classification Using Spiking Vector Quantization
• Title（参考訳）: GT-SVQ:スパイクベクトル量子化を用いたノード分類のための線形時間グラフ変換器
• Authors: Huizhe Zhang, Jintang Li, Yuchang Zhu, Liang Chen, Zibin Zheng,
• Abstract要約: ノード分類のためのスパイキングベクトル量子化(GT-SVQ)を用いた線形時間グラフ変換器を提案する。 GT-SVQは、スパイキングニューロンからのレートコーディング出力に基づいてコードブックを再構築し、コードブックを自己注意ブロックに注入し、線形複雑度でグローバル情報を集約する。 実験結果から、GT-SVQは他のGTに比べて最大130倍高速な推論速度を維持しながら、ほとんどのデータセットで競合性能を達成していることが示された。
• 参考スコア（独自算出の注目度）: 30.427844361335804
• License:
• Abstract: Graph Transformers (GTs), which simultaneously integrate message-passing and self-attention mechanisms, have achieved promising empirical results in some graph prediction tasks. Although these approaches show the potential of Transformers in capturing long-range graph topology information, issues concerning the quadratic complexity and high computing energy consumption severely limit the scalability of GTs on large-scale graphs. Recently, as brain-inspired neural networks, Spiking Neural Networks (SNNs), facilitate the development of graph representation learning methods with lower computational and storage overhead through the unique event-driven spiking neurons. Inspired by these characteristics, we propose a linear-time Graph Transformer using Spiking Vector Quantization (GT-SVQ) for node classification. GT-SVQ reconstructs codebooks based on rate coding outputs from spiking neurons, and injects the codebooks into self-attention blocks to aggregate global information in linear complexity. Besides, spiking vector quantization effectively alleviates codebook collapse and the reliance on complex machinery (distance measure, auxiliary loss, etc.) present in previous vector quantization-based graph learning methods. In experiments, we compare GT-SVQ with other state-of-the-art baselines on node classification datasets ranging from small to large. Experimental results show that GT-SVQ has achieved competitive performances on most datasets while maintaining up to 130x faster inference speed compared to other GTs.
• Abstract（参考訳）: メッセージパッシングと自己アテンション機構を同時に統合したグラフトランスフォーマー(GT)は,いくつかのグラフ予測タスクにおいて有望な実験結果を達成した。 これらのアプローチは、長距離グラフトポロジ情報をキャプチャするトランスフォーマーの可能性を示しているが、二次的な複雑性と高い計算エネルギー消費に関する問題は、大規模グラフ上のGTのスケーラビリティを著しく制限している。 近年、脳にインスパイアされたニューラルネットワークであるスパイキングニューラルネットワーク(SNN)は、ユニークな事象駆動のスパイキングニューロンを通じて、計算と記憶のオーバーヘッドを低減したグラフ表現学習手法の開発を促進する。 これらの特徴に着想を得て,ノード分類のためのスパイキングベクトル量子化(GT-SVQ)を用いた線形時間グラフ変換器を提案する。 GT-SVQは、スパイキングニューロンからのレートコーディング出力に基づいてコードブックを再構成し、コードブックを自己注意ブロックに注入し、線形複雑度でグローバル情報を集約する。 さらに、スパイクベクトル量子化は、以前のベクトル量子化に基づくグラフ学習法に存在するコードブックの崩壊と複雑な機械(距離測定、補助損失など)への依存を効果的に緩和する。 実験では,GT-SVQを,小から大規模までのノード分類データセット上での最先端のベースラインと比較した。 実験の結果,GT-SVQは他のGTに比べて最大130倍高速な推論速度を維持しつつ,ほとんどのデータセットで競合性能を達成していることがわかった。

関連論文リスト

• Exact Computation of Any-Order Shapley Interactions for Graph Neural Networks [53.10674067060148]
  共有インタラクション(SI)は、複数のノード間のノードのコントリビューションとインタラクションを定量化する。 GNNアーキテクチャを利用して、ノード埋め込みにおける相互作用の構造がグラフ予測のために保存されていることを示す。 任意の順序SIを正確に計算するための効率的なアプローチであるGraphSHAP-IQを導入する。
  論文  参考訳（メタデータ） (2025-01-28T13:37:44Z)
• OMEGA: A Low-Latency GNN Serving System for Large Graphs [8.51634655687174]
  グラフニューラルネットワーク(GNN)は、グラフデータセットにおける表現ノード表現の計算能力に広く採用されている。 既存のトレーニングにおける近似技術はオーバーヘッドを軽減することができるが、サービスでは高いレイテンシと/または精度の損失につながる。 本稿では,低遅延GNNを最小限の精度でグラフに役立てるシステムであるOMEGAを提案する。
  論文  参考訳（メタデータ） (2025-01-15T03:14:18Z)
• DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling [10.556366638048384]
  Graph Transformer(GT)は最近、グラフ構造化データ学習のための有望なニューラルネットワークアーキテクチャとして登場した。 DHIL-GTはスケーラブルなグラフ変換器で,グラフ計算を個別のステージに完全に分離することで,ネットワーク学習を簡略化する。 DHIL-GTは、大規模ベンチマーク上の既存のスケーラブルグラフ変換器の設計よりも、計算の高速化とミニバッチ能力の点で効率的である。
  論文  参考訳（メタデータ） (2024-12-06T02:59:01Z)
• Cell Graph Transformer for Nuclei Classification [78.47566396839628]
  我々は,ノードとエッジを入力トークンとして扱うセルグラフ変換器(CGT)を開発した。 不愉快な特徴は、騒々しい自己注意スコアと劣等な収束につながる可能性がある。 グラフ畳み込みネットワーク(GCN)を利用して特徴抽出器を学習する新しいトポロジ対応事前学習法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T12:01:30Z)
• GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural Properties of Graphs [5.410321469222541]
  産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。 GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。 実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-01-06T02:59:24Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Long Range Graph Benchmark [32.317725340138104]
  単にワンホップメッセージパッシングに頼るMP-GNNは、既存のグラフベンチマークでよく使われる。 ベースラインのGNNとGraph Transformerネットワークの両方をベンチマークし、長距離依存をキャプチャするモデルがこれらのタスクにおいて著しく優れていることを検証した。
  論文  参考訳（メタデータ） (2022-06-16T13:33:22Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。