論文の概要: VQGraph: Rethinking Graph Representation Space for Bridging GNNs and
MLPs
- arxiv url: http://arxiv.org/abs/2308.02117v3
- Date: Wed, 6 Mar 2024 15:06:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 18:13:47.574103
- Title: VQGraph: Rethinking Graph Representation Space for Bridging GNNs and
MLPs
- Title（参考訳）: VQGraph: GNNとMLPをブリッジするグラフ表現空間の再考
- Authors: Ling Yang, Ye Tian, Minkai Xu, Zhongyi Liu, Shenda Hong, Wei Qu,
Wentao Zhang, Bin Cui, Muhan Zhang, Jure Leskovec
- Abstract要約: VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。
VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 97.63412451659826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GNN-to-MLP distillation aims to utilize knowledge distillation (KD) to learn
computationally-efficient multi-layer perceptron (student MLP) on graph data by
mimicking the output representations of teacher GNN. Existing methods mainly
make the MLP to mimic the GNN predictions over a few class labels. However, the
class space may not be expressive enough for covering numerous diverse local
graph structures, thus limiting the performance of knowledge transfer from GNN
to MLP. To address this issue, we propose to learn a new powerful graph
representation space by directly labeling nodes' diverse local structures for
GNN-to-MLP distillation. Specifically, we propose a variant of VQ-VAE to learn
a structure-aware tokenizer on graph data that can encode each node's local
substructure as a discrete code. The discrete codes constitute a codebook as a
new graph representation space that is able to identify different local graph
structures of nodes with the corresponding code indices. Then, based on the
learned codebook, we propose a new distillation target, namely soft code
assignments, to directly transfer the structural knowledge of each node from
GNN to MLP. The resulting framework VQGraph achieves new state-of-the-art
performance on GNN-to-MLP distillation in both transductive and inductive
settings across seven graph datasets. We show that VQGraph with better
performance infers faster than GNNs by 828x, and also achieves accuracy
improvement over GNNs and stand-alone MLPs by 3.90% and 28.05% on average,
respectively. Code: https://github.com/YangLing0818/VQGraph.
- Abstract（参考訳）: GNN-to-MLP蒸留は,教師GNNの出力表現を模倣することにより,知識蒸留(KD)を用いて,グラフデータ上で計算効率の高い多層パーセプトロン(Student MLP)を学習することを目的とする。
既存の手法により、MLPはいくつかのクラスラベルでGNN予測を模倣する。
しかし、クラス空間は様々な局所グラフ構造をカバーするのに十分表現できないため、GNN から MLP への知識伝達の性能が制限される。
この問題に対処するために,GNN-to-MLP蒸留のためのノードの多様な局所構造を直接ラベル付けすることで,新しい強力なグラフ表現空間を学習することを提案する。
具体的には,各ノードの局所部分構造を離散コードとしてエンコード可能なグラフデータ上の構造認識トークン化器を学習するために,VQ-VAEの変種を提案する。
離散符号は、対応する符号インデックスを持つノードの異なる局所グラフ構造を識別できる新しいグラフ表現空間としてコードブックを構成する。
そして,学習したコードブックに基づいて,各ノードの構造的知識を直接GNNからMPPに転送する新しい蒸留ターゲット,すなわちソフトコード代入を提案する。
結果として得られるフレームワークであるVQGraphは、7つのグラフデータセットにまたがるトランスダクティブおよびインダクティブな設定において、GNN-to-MLP蒸留における最先端のパフォーマンスを実現する。
その結果、性能が良くなるvqgraphはgnnより828倍速く、gnnやスタンドアローンmlpと比べて平均で3.90%、28.05%の精度向上を達成していることがわかった。
コード:https://github.com/YangLing0818/VQGraph。
関連論文リスト
- Graph Structure Prompt Learning: A Novel Methodology to Improve Performance of Graph Neural Networks [13.655670509818144]
グラフネットワーク(GNN)のトレーニングを強化するための新しいグラフ構造Prompt Learning法(GPL)を提案する。
GPLはタスク非依存のグラフ構造損失を利用して、GNNが下流タスクを同時に解決しながら固有のグラフ特性を学習することを奨励している。
11の実世界のデータセットの実験では、ニューラルネットワークによってトレーニングされた後、GNNはノード分類、グラフ分類、エッジタスクにおいて、元のパフォーマンスを大幅に上回った。
論文 参考訳（メタデータ） (2024-07-16T03:59:18Z) - KAGNNs: Kolmogorov-Arnold Networks meet Graph Learning [27.638009679134523]
グラフニューラルネットワーク(GNN)は,ノードとグラフ表現を学習するためのデファクトツールとなっている。
本研究では,KAN(Kolmogorov-Arnold Networks)とグラフ学習タスクの定理の性能を比較した。
論文 参考訳（メタデータ） (2024-06-26T14:21:21Z) - A Teacher-Free Graph Knowledge Distillation Framework with Dual
Self-Distillation [58.813991312803246]
本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。
TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
論文 参考訳（メタデータ） (2024-03-06T05:52:13Z) - Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation
from GNNs to MLPs [22.541655587228203]
グラフタスク上での低遅延多層パーセプトロン(MLP)への高精度グラフニューラルネットワーク(GNN)の蒸留はホットな研究トピックとなっている。
グラフエッジ(エッジフリー)を必要としないが構造認識を学習するプロトタイプガイド型知識蒸留(PGKD)法を提案する。
論文 参考訳（メタデータ） (2023-03-24T02:28:55Z) - MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP
Initialization [51.76758674012744]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。
我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
論文 参考訳（メタデータ） (2022-09-30T21:33:51Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-29T19:55:12Z) - Graph-less Neural Networks: Teaching Old MLPs New Tricks via
Distillation [34.676755383361005]
グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。
競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。
GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
論文 参考訳（メタデータ） (2021-10-17T05:16:58Z) - Graph Neural Networks with Learnable Structural and Positional
Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。
ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。
両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文 参考訳（メタデータ） (2021-10-15T05:59:15Z) - On Graph Neural Networks versus Graph-Augmented MLPs [51.23890789522705]
Graph-Augmented Multi-Layer Perceptrons (GA-MLPs)は、まずグラフ上の特定のマルチホップ演算子でノード機能を拡張する。
我々は,GA-MLPとGNNの表現力の分離を証明し,指数関数的に成長することを示す。
論文 参考訳（メタデータ） (2020-10-28T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。