論文の概要: GNNs-to-MLPs by Teacher Injection and Dirichlet Energy Distillation

• arxiv url: http://arxiv.org/abs/2412.11180v1
• Date: Sun, 15 Dec 2024 13:18:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:54:38.588450
• Title: GNNs-to-MLPs by Teacher Injection and Dirichlet Energy Distillation
• Title（参考訳）: 教師注入とディリクレエネルギー蒸留によるGNN-to-MLP
• Authors: Ziang Zhou, Zhihao Ding, Jieming Shi, Qing Li, Shiqi Shen,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフベースの学習の基本であり、ノード分類タスクにおいて優れている。 近年の研究では、GNNを高速な推論のために多層パーセプトロン(MLP)に蒸留しようとしている。 我々は,教師インジェクションとディリクレエネルギー蒸留技術を用いて,GNNを層状に蒸留する新しい方法であるTINEDを提案する。
• 参考スコア（独自算出の注目度）: 9.118347325106496
• License:
• Abstract: Graph Neural Networks (GNNs) are fundamental to graph-based learning and excel in node classification tasks. However, GNNs suffer from scalability issues due to the need for multi-hop data during inference, limiting their use in latency-sensitive applications. Recent studies attempt to distill GNNs into multi-layer perceptrons (MLPs) for faster inference. They typically treat GNN and MLP models as single units for distillation, insufficiently utilizing the fine-grained knowledge within GNN layers. In this paper, we propose TINED, a novel method that distills GNNs to MLPs layer-wise through Teacher Injection with fine-tuning and Dirichlet Energy Distillation techniques. We analyze key operations in GNN layers, feature transformation (FT) and graph propagation (GP), and identify that an FT performs the same computation as a fully-connected (FC) layer in MLPs. Thus, we propose directly injecting valuable teacher parameters of an FT in a GNN into an FC layer of the student MLP, assisted by fine-tuning. In TINED, FC layers in an MLP mirror the order of the corresponding FTs and GPs in GNN. We provide a theoretical bound on the approximation of GPs. Moreover, we observe that in a GNN layer, FT and GP operations often have opposing smoothing effects: GP is aggressive, while FT is conservative, in smoothing. Using Dirichlet energy, we design a DE ratio to quantify these smoothing effects and propose Dirichlet Energy Distillation to distill these characteristics from GNN layers to MLP layers. Extensive experiments demonstrate that TINED achieves superior performance over GNNs and state-of-the-art distillation methods under various settings across seven datasets. The code is in supplementary material.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフベースの学習の基本であり、ノード分類タスクにおいて優れている。 しかし、GNNは、推論中にマルチホップデータを必要とするためスケーラビリティの問題に悩まされ、レイテンシに敏感なアプリケーションでの使用が制限される。 近年の研究では、GNNを高速な推論のために多層パーセプトロン(MLP)に蒸留しようとしている。 彼らは通常、GNNモデルとMLPモデルを蒸留の単一単位として扱い、GNN層内のきめ細かい知識を不十分に活用する。 本稿では,教師インジェクションとディリクレエネルギー蒸留技術を用いて,GNNをMLPに層状に蒸留する新しい手法であるTINEDを提案する。 我々は、GNN層におけるキー操作、特徴変換(FT)およびグラフ伝搬(GP)を分析し、FTがMLPにおいて完全連結(FC)層と同じ計算を行うことを確認した。 そこで本研究では,GNN における FT の教師パラメータを学生 MLP の FC 層に直接注入し,微調整を補助する手法を提案する。 TINED では、MLP の FC 層は GNN の対応する FT と GP の順序を反映する。 GP の近似に関する理論的境界を提供する。 さらに、GNN層では、FTとGPの操作はスムージング効果に反することが多く、GPはアグレッシブであり、FTはスムージングにおいて保守的である。 ディリクレエネルギーを用いて,これらの平滑化効果を定量化するためのD比を設計し,これらの特性をGNN層からMLP層に蒸留するディリクレエネルギー蒸留法を提案する。 広範囲な実験により,TINEDは7つのデータセットにまたがる様々な条件下で,GNNや最先端蒸留法よりも優れた性能を発揮することが示された。 コードは補足資料です。

関連論文リスト

• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation [15.505402580010104]
  GNN-to-MLPナレッジ蒸留と呼ばれる新しい手法の波が出現した。 彼らは、より効率的な学生にGNN学習の知識を移すことを目標としている。 これらの手法は、不十分なトレーニングデータと不完全なテストデータを持つ状況において課題に直面している。 本稿では,AdaBoosting GNN-to-MLPナレッジ蒸留フレームワークであるAdaGMLPを提案する。
  論文  参考訳（メタデータ） (2024-05-23T08:28:44Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Bregman Graph Neural Network [27.64062763929748]
  ノード分類タスクでは、GNNによって誘導される滑らか化効果は、連結ノードの表現と過剰な均質化ラベルを同化する傾向がある。 本稿では,Bregman 距離の概念に触発された GNN のための新しい二段階最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-12T23:54:24Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework [36.160251860788314]
  完全周波数GNN-to-MLP (FFG2M) 蒸留フレームワークを提案する。 我々は、GNNが学んだ知識をスペクトル領域の低周波成分と高周波成分に分解する。 既存のGNN-to-MLP蒸留における入水可能性について検討する。
  論文  参考訳（メタデータ） (2023-05-18T06:57:06Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。