論文の概要: Heuristic Methods are Good Teachers to Distill MLPs for Graph Link Prediction

• arxiv url: http://arxiv.org/abs/2504.06193v1
• Date: Tue, 08 Apr 2025 16:35:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:31:02.943635
• Title: Heuristic Methods are Good Teachers to Distill MLPs for Graph Link Prediction
• Title（参考訳）: グラフリンク予測のためのMLPを蒸留するヒューリスティックな方法
• Authors: Zongyue Qin, Shichang Zhang, Mingxuan Ju, Tong Zhao, Neil Shah, Yizhou Sun,
• Abstract要約: グラフニューラルネットワーク(GNN)の教師をMLP(Multi-Layer Perceptrons)の学生に拡張することは、強力なパフォーマンスを実現するための効果的なアプローチとして現れている。 しかし、既存の蒸留法では標準のGNNのみを使用し、リンク予測専用モデル(GNN4LP)や方法(一般的な隣人など)など代替の教師を見落としている。 本稿ではまず, GNN-to-MLP蒸留における異なる教師の影響について検討し, より強い教師は必ずしもより強い生徒を産み出すわけではないが, より弱い手法は, 訓練コストを大幅に削減して, 近GNNのパフォーマンスを教えることができることを示した。
• 参考スコア（独自算出の注目度）: 61.70012924088756
• License:
• Abstract: Link prediction is a crucial graph-learning task with applications including citation prediction and product recommendation. Distilling Graph Neural Networks (GNNs) teachers into Multi-Layer Perceptrons (MLPs) students has emerged as an effective approach to achieve strong performance and reducing computational cost by removing graph dependency. However, existing distillation methods only use standard GNNs and overlook alternative teachers such as specialized model for link prediction (GNN4LP) and heuristic methods (e.g., common neighbors). This paper first explores the impact of different teachers in GNN-to-MLP distillation. Surprisingly, we find that stronger teachers do not always produce stronger students: MLPs distilled from GNN4LP can underperform those distilled from simpler GNNs, while weaker heuristic methods can teach MLPs to near-GNN performance with drastically reduced training costs. Building on these insights, we propose Ensemble Heuristic-Distilled MLPs (EHDM), which eliminates graph dependencies while effectively integrating complementary signals via a gating mechanism. Experiments on ten datasets show an average 7.93% improvement over previous GNN-to-MLP approaches with 1.95-3.32 times less training time, indicating EHDM is an efficient and effective link prediction method.
• Abstract（参考訳）: リンク予測は、引用予測や製品レコメンデーションを含むアプリケーションにおいて重要なグラフ学習タスクである。 グラフニューラルネットワーク(GNN)の教師をMLP(Multi-Layer Perceptrons)に置き換えることは,グラフ依存を取り除くことで,強力なパフォーマンスを実現し,計算コストを削減するための効果的なアプローチとして現れてきた。 しかし、既存の蒸留法では標準のGNNのみを使用し、リンク予測のための特別モデル(GNN4LP)やヒューリスティックな方法(一般的な隣人など)などの代替の教師を見落としている。 本稿ではまず,GNN-to-MLP蒸留における教師の影響について検討する。 GNN4LPから蒸留したMLPは、より単純なGNNから蒸留したMLPを過小評価し、弱いヒューリスティック手法は、トレーニングコストを大幅に削減して、ほぼGNNのパフォーマンスを教えることができる。 これらの知見に基づいて,グラフ依存を排除し,ゲーティング機構を通じて補完信号を効果的に統合するEnsemble Heuristic-Distilled MLP(EHDM)を提案する。 10つのデータセットの実験では、以前のGNN-to-MLPアプローチよりも平均7.93%改善し、トレーニング時間は1.95-3.32倍少なく、EHDMは効率的で効果的なリンク予測法であることを示している。

関連論文リスト

• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation [56.912354708167534]
  グラフニューラルネットワーク(GNN)と軽量マルチ層パーセプトロン(MLP) GNNto-MLP Knowledge Distillation (KD)は、よく訓練された教師であるGNNの知識を学生に蒸留することを提案する。 本稿では,単純かつ効果的なGNN-to-MLP蒸留(HGMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-20T06:13:00Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Unveiling the Unseen Potential of Graph Learning through MLPs: Effective Graph Learners Using Propagation-Embracing MLPs [9.731314045194495]
  教師ニューラルネットワーク(GNN)による知識蒸留による学生の訓練 変換$T$と伝搬$Pi$を分離するGNNにインスパイアされた私たちは、KDプロセスを再構成して、学生が明示的に$T$と$Pi$を学習できるようにします。 本稿では,KD 以前の教師 GNN の出力を伝搬する Propagate & Distill (P&D) を提案し,逆伝播 $Pi-1$ の近似過程として解釈できる。
  論文  参考訳（メタデータ） (2023-11-20T13:39:19Z)
• Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework [36.160251860788314]
  完全周波数GNN-to-MLP (FFG2M) 蒸留フレームワークを提案する。 我々は、GNNが学んだ知識をスペクトル領域の低周波成分と高周波成分に分解する。 既存のGNN-to-MLP蒸留における入水可能性について検討する。
  論文  参考訳（メタデータ） (2023-05-18T06:57:06Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Linkless Link Prediction via Relational Distillation [24.928349760334413]
  グラフネットワーク(GNN)はリンク予測のタスクにおいて例外的な性能を示している。 有効性にもかかわらず、非自明な近傍データ依存性によってもたらされる高いレイテンシは、実践的なデプロイメントにおいてGNNを制限する。
  論文  参考訳（メタデータ） (2022-10-11T22:00:43Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。