論文の概要: GNNs-to-MLPs by Teacher Injection and Dirichlet Energy Distillation

• arxiv url: http://arxiv.org/abs/2412.11180v1
• Date: Sun, 15 Dec 2024 13:18:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:54:38.588450
• Title: GNNs-to-MLPs by Teacher Injection and Dirichlet Energy Distillation
• Title（参考訳）: 教師注入とディリクレエネルギー蒸留によるGNN-to-MLP
• Authors: Ziang Zhou, Zhihao Ding, Jieming Shi, Qing Li, Shiqi Shen,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフベースの学習の基本であり、ノード分類タスクにおいて優れている。 近年の研究では、GNNを高速な推論のために多層パーセプトロン(MLP)に蒸留しようとしている。 我々は,教師インジェクションとディリクレエネルギー蒸留技術を用いて,GNNを層状に蒸留する新しい方法であるTINEDを提案する。
• 参考スコア（独自算出の注目度）: 9.118347325106496
• License:
• Abstract: Graph Neural Networks (GNNs) are fundamental to graph-based learning and excel in node classification tasks. However, GNNs suffer from scalability issues due to the need for multi-hop data during inference, limiting their use in latency-sensitive applications. Recent studies attempt to distill GNNs into multi-layer perceptrons (MLPs) for faster inference. They typically treat GNN and MLP models as single units for distillation, insufficiently utilizing the fine-grained knowledge within GNN layers. In this paper, we propose TINED, a novel method that distills GNNs to MLPs layer-wise through Teacher Injection with fine-tuning and Dirichlet Energy Distillation techniques. We analyze key operations in GNN layers, feature transformation (FT) and graph propagation (GP), and identify that an FT performs the same computation as a fully-connected (FC) layer in MLPs. Thus, we propose directly injecting valuable teacher parameters of an FT in a GNN into an FC layer of the student MLP, assisted by fine-tuning. In TINED, FC layers in an MLP mirror the order of the corresponding FTs and GPs in GNN. We provide a theoretical bound on the approximation of GPs. Moreover, we observe that in a GNN layer, FT and GP operations often have opposing smoothing effects: GP is aggressive, while FT is conservative, in smoothing. Using Dirichlet energy, we design a DE ratio to quantify these smoothing effects and propose Dirichlet Energy Distillation to distill these characteristics from GNN layers to MLP layers. Extensive experiments demonstrate that TINED achieves superior performance over GNNs and state-of-the-art distillation methods under various settings across seven datasets. The code is in supplementary material.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフベースの学習の基本であり、ノード分類タスクにおいて優れている。 しかし、GNNは、推論中にマルチホップデータを必要とするためスケーラビリティの問題に悩まされ、レイテンシに敏感なアプリケーションでの使用が制限される。 近年の研究では、GNNを高速な推論のために多層パーセプトロン(MLP)に蒸留しようとしている。 彼らは通常、GNNモデルとMLPモデルを蒸留の単一単位として扱い、GNN層内のきめ細かい知識を不十分に活用する。 本稿では,教師インジェクションとディリクレエネルギー蒸留技術を用いて,GNNをMLPに層状に蒸留する新しい手法であるTINEDを提案する。 我々は、GNN層におけるキー操作、特徴変換(FT)およびグラフ伝搬(GP)を分析し、FTがMLPにおいて完全連結(FC)層と同じ計算を行うことを確認した。 そこで本研究では,GNN における FT の教師パラメータを学生 MLP の FC 層に直接注入し,微調整を補助する手法を提案する。 TINED では、MLP の FC 層は GNN の対応する FT と GP の順序を反映する。 GP の近似に関する理論的境界を提供する。 さらに、GNN層では、FTとGPの操作はスムージング効果に反することが多く、GPはアグレッシブであり、FTはスムージングにおいて保守的である。 ディリクレエネルギーを用いて,これらの平滑化効果を定量化するためのD比を設計し,これらの特性をGNN層からMLP層に蒸留するディリクレエネルギー蒸留法を提案する。 広範囲な実験により,TINEDは7つのデータセットにまたがる様々な条件下で,GNNや最先端蒸留法よりも優れた性能を発揮することが示された。 コードは補足資料です。

関連論文リスト

• Learning Accurate, Efficient, and Interpretable MLPs on Multiplex Graphs via Node-wise Multi-View Ensemble Distillation [29.70212915594676]
  多重グラフニューラルネットワーク(MGNN)は、様々な下流タスクにおいて高度なパフォーマンスを実現している。 我々は、MGNNの優れた性能とニューラルネットワークの効率的な推論を組み合わせるために、多重グラフ自由グラフニューラルネットワーク(MGFNN)とMGFNN+を提案する。
  論文  参考訳（メタデータ） (2025-02-09T11:55:14Z)
• Large-Scale Spectral Graph Neural Networks via Laplacian Sparsification: Technical Report [21.288230563135055]
  スペクトルグラフニューラルネットワーク(GNN)の伝搬パターンを近似する新しいグラフスペクトルスカラー化法を提案する。 提案手法では,入力ノード機能に線形レイヤを適用でき,エンドツーエンドのトレーニングや生の機能の処理が可能となる。
  論文  参考訳（メタデータ） (2025-01-08T15:36:19Z)
• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework [36.160251860788314]
  完全周波数GNN-to-MLP (FFG2M) 蒸留フレームワークを提案する。 我々は、GNNが学んだ知識をスペクトル領域の低周波成分と高周波成分に分解する。 既存のGNN-to-MLP蒸留における入水可能性について検討する。
  論文  参考訳（メタデータ） (2023-05-18T06:57:06Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。