論文の概要: SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP

• arxiv url: http://arxiv.org/abs/2210.09609v1
• Date: Tue, 18 Oct 2022 05:55:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:38:35.932984
• Title: SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP
• Title（参考訳）: SA-MLP:GNNから構造認識型MLPへのグラフ知識の蒸留
• Authors: Jie Chen, Shouzhen Chen, Mingyuan Bai, Junbin Gao, Junping Zhang, Jian Pu
• Abstract要約: 予測加速の1つの有望な方向は、GNNをメッセージパスなしの学生多層パーセプトロンに蒸留することである。 本稿では,構造化情報のための学習能力を高めるための構造混合知識戦略を提案する。 我々のSA-MLPは、より高速な推論支援を維持しながら、教師のGNNを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 46.52398427166938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The message-passing mechanism helps Graph Neural Networks (GNNs) achieve remarkable results on various node classification tasks. Nevertheless, the recursive nodes fetching and aggregation in message-passing cause inference latency when deploying GNNs to large-scale graphs. One promising inference acceleration direction is to distill the GNNs into message-passing-free student multi-layer perceptrons (MLPs). However, the MLP student cannot fully learn the structure knowledge due to the lack of structure inputs, which causes inferior performance in the heterophily and inductive scenarios. To address this, we intend to inject structure information into MLP-like students in low-latency and interpretable ways. Specifically, we first design a Structure-Aware MLP (SA-MLP) student that encodes both features and structures without message-passing. Then, we introduce a novel structure-mixing knowledge distillation strategy to enhance the learning ability of MLPs for structure information. Furthermore, we design a latent structure embedding approximation technique with two-stage distillation for inductive scenarios. Extensive experiments on eight benchmark datasets under both transductive and inductive settings show that our SA-MLP can consistently outperform the teacher GNNs, while maintaining faster inference as MLPs. The source code of our work can be found in https://github.com/JC-202/SA-MLP.
• Abstract（参考訳）: メッセージパッシングメカニズムは、グラフニューラルネットワーク(GNN)が様々なノード分類タスクで顕著な結果を得るのに役立つ。 それでも、再帰的なノードのフェッチとメッセージパスの集約は、大規模グラフにGNNをデプロイする際の推論遅延を引き起こす。 予測加速の1つの有望な方向は、GNNをメッセージパスなしの学生多層パーセプトロン(MLP)に蒸留することである。 しかし、MLP学生は、構造入力の欠如により構造知識を完全に習得することができず、不均一かつ帰納的なシナリオでは性能が劣る。 そこで我々は,低レイテンシかつ解釈可能な方法でMLP様の学生に構造情報を注入する。 具体的には、まず、メッセージパッシングなしで特徴と構造の両方を符号化する構造対応MLP(Structure-Aware MLP)の学生を設計する。 そして,構造情報に対するMLPの学習能力を高めるため,構造混合型知識蒸留戦略を導入する。 さらに, 2段階蒸留による潜在構造埋め込み近似手法をインダクティブ・シナリオのために設計する。 帰納的および帰納的両方の条件下での8つのベンチマークデータセットの大規模な実験により、我々のSA-MLPは教師のGNNを一貫して上回り、MPPとして高速な推論を維持できることが示された。 私たちの作業のソースコードはhttps://github.com/JC-202/SA-MLP.comで確認できます。

関連論文リスト

• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• SimMLP: Training MLPs on Graphs without Supervision [38.63554842214315]
  グラフ学習のための自己教師型フレームワークであるSimMLPを紹介する。 SimMLPは、最適の場合において、GNNと等価性を達成できる最初の学習方法である。 我々は、相互情報と帰納バイアスに基づいて、SimMLPとGNNの等価性を示す包括的な理論的分析を行う。
  論文  参考訳（メタデータ） (2024-02-14T03:16:13Z)
• MLPs Compass: What is learned when MLPs are combined with PLMs? [20.003022732050994]
  堅牢な構造キャプチャ機能を実現するマルチレイヤ・パーセプトロン(MLP)モジュールは、グラフニューラルネットワーク(GNN)よりも優れています。 本稿は,PLMの言語情報取得能力が向上するかどうかを定量化することを目的とする。
  論文  参考訳（メタデータ） (2024-01-03T11:06:01Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation from GNNs to MLPs [22.541655587228203]
  グラフタスク上での低遅延多層パーセプトロン(MLP)への高精度グラフニューラルネットワーク(GNN)の蒸留はホットな研究トピックとなっている。 グラフエッジ(エッジフリー)を必要としないが構造認識を学習するプロトタイプガイド型知識蒸留(PGKD)法を提案する。
  論文  参考訳（メタデータ） (2023-03-24T02:28:55Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization [51.76758674012744]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。 我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T21:33:51Z)
• NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
  グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。 本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
  論文  参考訳（メタデータ） (2022-08-22T01:47:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。