論文の概要: VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization

• arxiv url: http://arxiv.org/abs/2110.14363v1
• Date: Wed, 27 Oct 2021 11:48:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 13:29:40.400814
• Title: VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization
• Title（参考訳）: VQ-GNN:ベクトル量子化を用いたグラフニューラルネットワークのスケールアップのためのユニバーサルフレームワーク
• Authors: Mucong Ding, Kezhi Kong, Jingling Li, Chen Zhu, John P Dickerson, Furong Huang, Tom Goldstein
• Abstract要約: VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
• 参考スコア（独自算出の注目度）: 70.8567058758375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most state-of-the-art Graph Neural Networks (GNNs) can be defined as a form of graph convolution which can be realized by message passing between direct neighbors or beyond. To scale such GNNs to large graphs, various neighbor-, layer-, or subgraph-sampling techniques are proposed to alleviate the "neighbor explosion" problem by considering only a small subset of messages passed to the nodes in a mini-batch. However, sampling-based methods are difficult to apply to GNNs that utilize many-hops-away or global context each layer, show unstable performance for different tasks and datasets, and do not speed up model inference. We propose a principled and fundamentally different approach, VQ-GNN, a universal framework to scale up any convolution-based GNNs using Vector Quantization (VQ) without compromising the performance. In contrast to sampling-based techniques, our approach can effectively preserve all the messages passed to a mini-batch of nodes by learning and updating a small number of quantized reference vectors of global node representations, using VQ within each GNN layer. Our framework avoids the "neighbor explosion" problem of GNNs using quantized representations combined with a low-rank version of the graph convolution matrix. We show that such a compact low-rank version of the gigantic convolution matrix is sufficient both theoretically and experimentally. In company with VQ, we design a novel approximated message passing algorithm and a nontrivial back-propagation rule for our framework. Experiments on various types of GNN backbones demonstrate the scalability and competitive performance of our framework on large-graph node classification and link prediction benchmarks.
• Abstract（参考訳）: ほとんどの最先端グラフニューラルネットワーク (gnns) はグラフ畳み込みの一形態として定義することができ、これは直接隣人間のメッセージパッシングによって実現される。 このようなGNNを大きなグラフにスケールするために, 隣接層, 層, サブグラフサンプリング技術が提案され, 小バッチのノードに渡されるメッセージの小さなサブセットのみを考慮し, 「近隣爆発」問題を緩和する。 しかし、サンプリングベースの手法は、各レイヤの多視点またはグローバルなコンテキストを利用し、異なるタスクやデータセットに対して不安定な性能を示し、モデル推論を高速化しないGNNに適用することは困難である。 本稿では,ベクトル量子化(VQ)を用いた畳み込みベースのGNNを,性能を損なうことなくスケールアップする汎用フレームワークであるVQ-GNNを提案する。 サンプリングに基づく手法とは対照的に,GNN層内のVQを用いて,グローバルノード表現の少数の量子化参照ベクトルを学習し,更新することにより,ノードのミニバッチに渡されるすべてのメッセージを効果的に保存することができる。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。 このようなコンパクトな低ランクの巨大畳み込み行列は理論的にも実験的にも十分であることを示す。 VQと共に、我々は、新しい近似メッセージパッシングアルゴリズムと、フレームワークの非自明なバックプロパゲーションルールを設計する。 各種GNNバックボーンの実験により,大規模ノード分類とリンク予測ベンチマークにおけるフレームワークのスケーラビリティと競争性を示す。

関連論文リスト

• SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network [38.669815079957566]
  グラフニューラルネットワーク(GNN)は,グラフの伝播と集約によるグラフ構造情報の符号化を主目的とする。 等質グラフ、異質グラフ、知識グラフのようなより複雑なグラフなど、複数の種類のグラフの表現学習において優れた性能を発揮した。 深部GNNの性能劣化現象に対して,新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-07-03T02:40:39Z)
• A Flexible, Equivariant Framework for Subgraph GNNs via Graph Products and Graph Coarsening [18.688057947275112]
  グラフグラフニューラルネットワーク(サブグラフGNN)は,グラフをサブグラフの集合として表現することで,メッセージパスGNNの表現性を向上する。 以前のアプローチでは、ランダムにまたは学習可能なサンプリングによって選択されたサブグラフのサブセットのみを処理することを提案していた。 本稿では,これらの問題に対処する新しいSubgraph GNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-13T16:29:06Z)
• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
  本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。 Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:27:18Z)
• Higher-order Sparse Convolutions in Graph Neural Networks [17.647346486710514]
  グラフ信号のソボレフノルムに基づく新しい高次スパース畳み込みを導入する。 S-SobGNNは、最先端のいくつかの手法と比較して、全てのアプリケーションで競合性能を示す。
  論文  参考訳（メタデータ） (2023-02-21T08:08:18Z)
• $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks [18.772128348519566]
  グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。 本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-01T02:54:35Z)
• From Stars to Subgraphs: Uplifting Any GNN with Local Structure Awareness [23.279464786779787]
  私たちはMPNNをより表現力のあるものにするための一般的なフレームワークを導入します。 私たちのフレームワークは1&2-WLよりも強力で、3WLよりも強力です。 本手法は,いくつかのよく知られたグラフMLタスクに対して,新たな最先端性能を大きなマージンで設定する。
  論文  参考訳（メタデータ） (2021-10-07T19:08:08Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。