論文の概要: VQGraph: Graph Vector-Quantization for Bridging GNNs and MLPs

• arxiv url: http://arxiv.org/abs/2308.02117v1
• Date: Fri, 4 Aug 2023 02:58:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-07 14:02:41.119183
• Title: VQGraph: Graph Vector-Quantization for Bridging GNNs and MLPs
• Title（参考訳）: VQGraph: GNNとMLPをブリッジするためのグラフベクトル量子化
• Authors: Ling Yang, Ye Tian, Minkai Xu, Zhongyi Liu, Shenda Hong, Wei Qu, Wentao Zhang, Bin Cui, Muhan Zhang, Jure Leskovec
• Abstract要約: グラフニューラルネットワーク(GNN)は、ノード表現を更新するために、近隣のデータを集約するメッセージパッシングを行う。 近年の手法では、GNNの出力を模倣して計算効率の良い多層パーセプトロン(MLP)を学習するために知識蒸留を採用している。 本稿では、GNNとコーダをブリッジするための強力なグラフ表現空間を学習するための新しいフレームワークVQGraphを提案する。
• 参考スコア（独自算出の注目度）: 66.69214513410974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) conduct message passing which aggregates local neighbors to update node representations. Such message passing leads to scalability issues in practical latency-constrained applications. To address this issue, recent methods adopt knowledge distillation (KD) to learn computationally-efficient multi-layer perceptron (MLP) by mimicking the output of GNN. However, the existing GNN representation space may not be expressive enough for representing diverse local structures of the underlying graph, which limits the knowledge transfer from GNN to MLP. Here we present a novel framework VQGraph to learn a powerful graph representation space for bridging GNNs and MLPs. We adopt the encoder of a variant of a vector-quantized variational autoencoder (VQ-VAE) as a structure-aware graph tokenizer, which explicitly represents the nodes of diverse local structures as numerous discrete tokens and constitutes a meaningful codebook. Equipped with the learned codebook, we propose a new token-based distillation objective based on soft token assignments to sufficiently transfer the structural knowledge from GNN to MLP. Extensive experiments and analyses demonstrate the strong performance of VQGraph, where we achieve new state-of-the-art performance on GNN-MLP distillation in both transductive and inductive settings across seven graph datasets. We show that VQGraph with better performance infers faster than GNNs by 828x, and also achieves accuracy improvement over GNNs and stand-alone MLPs by 3.90% and 28.05% on average, respectively. Code: https://github.com/YangLing0818/VQGraph.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、ノード表現を更新するためにローカル近傍を集約するメッセージパッシングを実行する。 このようなメッセージパッシングは、実用的なレイテンシ制約のあるアプリケーションではスケーラビリティの問題を引き起こす。 この問題に対処するために、近年の手法では知識蒸留(KD)を用いて、GNNの出力を模倣して計算効率の良い多層パーセプトロン(MLP)を学習している。 しかし、既存のGNN表現空間は、GNNからMPPへの知識伝達を制限する基礎となるグラフの様々な局所構造を表現するのに十分ではないかもしれない。 本稿では,GNN と MLP をブリッジする強力なグラフ表現空間を学習するための新しいフレームワーク VQGraph を提案する。 ベクトル量子化変分オートエンコーダ(VQ-VAE)の変分エンコーダを構造対応グラフトークン化器として採用し,多様な局所構造のノードを多数の離散トークンとして明示的に表現し,有意義なコードブックを構成する。 学習したコードブックを組み、ソフトトークンの割り当てに基づく新しいトークンベースの蒸留目標を提案し、GNN から MLP への構造的知識を十分に伝達する。 広範囲にわたる実験と分析により,GNN-MLP蒸留におけるVQGraphの性能が向上し、7つのグラフデータセットにまたがるトランスダクティブおよびインダクティブな設定が実現された。 その結果、性能が良くなるvqgraphはgnnより828倍速く、gnnやスタンドアローンmlpと比べて平均で3.90%、28.05%の精度向上を達成していることがわかった。 コード:https://github.com/YangLing0818/VQGraph。

関連論文リスト

• Graph Structure Prompt Learning: A Novel Methodology to Improve Performance of Graph Neural Networks [13.655670509818144]
  グラフネットワーク(GNN)のトレーニングを強化するための新しいグラフ構造Prompt Learning法(GPL)を提案する。 GPLはタスク非依存のグラフ構造損失を利用して、GNNが下流タスクを同時に解決しながら固有のグラフ特性を学習することを奨励している。 11の実世界のデータセットの実験では、ニューラルネットワークによってトレーニングされた後、GNNはノード分類、グラフ分類、エッジタスクにおいて、元のパフォーマンスを大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-16T03:59:18Z)
• KAGNNs: Kolmogorov-Arnold Networks meet Graph Learning [27.638009679134523]
  グラフニューラルネットワーク(GNN)は,ノードとグラフ表現を学習するためのデファクトツールとなっている。 本研究では,KAN(Kolmogorov-Arnold Networks)とグラフ学習タスクの定理の性能を比較した。
  論文  参考訳（メタデータ） (2024-06-26T14:21:21Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation from GNNs to MLPs [22.541655587228203]
  グラフタスク上での低遅延多層パーセプトロン(MLP)への高精度グラフニューラルネットワーク(GNN)の蒸留はホットな研究トピックとなっている。 グラフエッジ(エッジフリー)を必要としないが構造認識を学習するプロトタイプガイド型知識蒸留(PGKD)法を提案する。
  論文  参考訳（メタデータ） (2023-03-24T02:28:55Z)
• MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization [51.76758674012744]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。 我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T21:33:51Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation [34.676755383361005]
  グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
  論文  参考訳（メタデータ） (2021-10-17T05:16:58Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• On Graph Neural Networks versus Graph-Augmented MLPs [51.23890789522705]
  Graph-Augmented Multi-Layer Perceptrons (GA-MLPs)は、まずグラフ上の特定のマルチホップ演算子でノード機能を拡張する。 我々は,GA-MLPとGNNの表現力の分離を証明し,指数関数的に成長することを示す。
  論文  参考訳（メタデータ） (2020-10-28T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。