論文の概要: TINED: GNNs-to-MLPs by Teacher Injection and Dirichlet Energy Distillation

• arxiv url: http://arxiv.org/abs/2412.11180v3
• Date: Thu, 29 May 2025 03:37:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 13:10:25.666799
• Title: TINED: GNNs-to-MLPs by Teacher Injection and Dirichlet Energy Distillation
• Title（参考訳）: TINED:教師注入とディリクレエネルギー蒸留によるGNN-to-MLP
• Authors: Ziang Zhou, Zhihao Ding, Jieming Shi, Qing Li, Shiqi Shen,
• Abstract要約: グラフネットワーク(GNN)はグラフベースの学習において重要であり、特にノード分類において優れている。 高速な推論のためにGNNを多層パーセプトロン(MLP)に蒸留する最近の試みは、しばしばGNNの層間洞察を弱めている。 我々は,教師注入法とディリクレエネルギー蒸留法を用いて,GNNを層単位で蒸留する新しい手法であるTINEDを提案する。
• 参考スコア（独自算出の注目度）: 9.118347325106496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) are pivotal in graph-based learning, particularly excelling in node classification. However, their scalability is hindered by the need for multi-hop data during inference, limiting their application in latency-sensitive scenarios. Recent efforts to distill GNNs into multi-layer perceptrons (MLPs) for faster inference often underutilize the layer-level insights of GNNs. In this paper, we present TINED, a novel approach that distills GNNs to MLPs on a layer-by-layer basis using Teacher Injection and Dirichlet Energy Distillation techniques. We focus on two key operations in GNN layers: feature transformation (FT) and graph propagation (GP). We recognize that FT is computationally equivalent to a fully-connected (FC) layer in MLPs. Thus, we propose directly transferring teacher parameters from an FT in a GNN to an FC layer in the student MLP, enhanced by fine-tuning. In TINED, the FC layers in an MLP replicate the sequence of FTs and GPs in the GNN. We also establish a theoretical bound for GP approximation. Furthermore, we note that FT and GP operations in GNN layers often exhibit opposing smoothing effects: GP is aggressive, while FT is conservative. Using Dirichlet energy, we develop a DE ratio to measure these effects and propose Dirichlet Energy Distillation to convey these characteristics from GNN layers to MLP layers. Extensive experiments show that TINED outperforms GNNs and leading distillation methods across various settings and seven datasets. Source code are available at https://github.com/scottjiao/TINED_ICML25/.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はグラフベースの学習において重要であり、特にノード分類において優れている。 しかし、そのスケーラビリティは、推論中のマルチホップデータの必要性によって妨げられ、レイテンシに敏感なシナリオでアプリケーションを制限する。 高速な推論のためにGNNを多層パーセプトロン(MLP)に蒸留する最近の試みは、しばしばGNNの層レベルの洞察を弱めている。 本稿では,教師注入法とディリクレエネルギー蒸留法を用いて,GNNを層単位でMLPに蒸留する新しい手法であるTINEDを提案する。 我々は,GNN層における特徴変換(FT)とグラフ伝搬(GP)の2つの重要な操作に注目した。 FT は MLP の完全連結層 (FC) と同値である。 そこで本研究では,教師パラメータをGNNのFTから学生MLPのFC層へ直接転送し,微調整により強化する手法を提案する。 TINEDでは、MLPのFC層はGNNのFTとGPのシーケンスを複製する。 また、GP近似の理論的有界性も確立する。 さらに、GNN層におけるFTおよびGP操作は、GPは攻撃的であるのに対し、FTは保守的であるのに対し、スムージング効果に反することが多いことに留意する。 ディリクレエネルギーを用いて,これらの効果を測定するためのD比を開発し,これらの特性をGNN層からMPP層へ伝達するDirichlet Energy Distillationを提案する。 大規模な実験により、TINEDはGNNよりも優れており、様々な設定と7つのデータセットで蒸留法をリードしている。 ソースコードはhttps://github.com/scottjiao/TINED_ICML25/で公開されている。

関連論文リスト

• Learning Accurate, Efficient, and Interpretable MLPs on Multiplex Graphs via Node-wise Multi-View Ensemble Distillation [29.70212915594676]
  多重グラフニューラルネットワーク(MGNN)は、様々な下流タスクにおいて高度なパフォーマンスを実現している。 我々は、MGNNの優れた性能とニューラルネットワークの効率的な推論を組み合わせるために、多重グラフ自由グラフニューラルネットワーク(MGFNN)とMGFNN+を提案する。
  論文  参考訳（メタデータ） (2025-02-09T11:55:14Z)
• Large-Scale Spectral Graph Neural Networks via Laplacian Sparsification: Technical Report [21.288230563135055]
  スペクトルグラフニューラルネットワーク(GNN)の伝搬パターンを近似する新しいグラフスペクトルスカラー化法を提案する。 提案手法では,入力ノード機能に線形レイヤを適用でき,エンドツーエンドのトレーニングや生の機能の処理が可能となる。
  論文  参考訳（メタデータ） (2025-01-08T15:36:19Z)
• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework [36.160251860788314]
  完全周波数GNN-to-MLP (FFG2M) 蒸留フレームワークを提案する。 我々は、GNNが学んだ知識をスペクトル領域の低周波成分と高周波成分に分解する。 既存のGNN-to-MLP蒸留における入水可能性について検討する。
  論文  参考訳（メタデータ） (2023-05-18T06:57:06Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。