論文の概要: Quantifying the Knowledge in GNNs for Reliable Distillation into MLPs

• arxiv url: http://arxiv.org/abs/2306.05628v1
• Date: Fri, 9 Jun 2023 02:23:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 15:07:57.578209
• Title: Quantifying the Knowledge in GNNs for Reliable Distillation into MLPs
• Title（参考訳）: MLPへの信頼性蒸留のためのGNNの知識の定量化
• Authors: Lirong Wu, Haitao Lin, Yufei Huang, Stan Z. Li
• Abstract要約: トポロジを意識したグラフニューラルネットワーク(GNN)と推論効率のよいマルチ層パーセプトロン(MLP)のギャップを埋めるために、GLNNは、よく訓練された教師であるGNNから学生に知識を抽出することを提案する。 まず、GNNにおける情報エントロピーとノイズ摂動の不変性を測定することにより、知識信頼性の定量化を行う。 本稿では,各ノードが情報的かつ信頼性の高い知識ポイントである確率をモデル化する,知識に着想を得た信頼性蒸留(KRD)を提案する。
• 参考スコア（独自算出の注目度）: 42.38007308086495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To bridge the gaps between topology-aware Graph Neural Networks (GNNs) and inference-efficient Multi-Layer Perceptron (MLPs), GLNN proposes to distill knowledge from a well-trained teacher GNN into a student MLP. Despite their great progress, comparatively little work has been done to explore the reliability of different knowledge points (nodes) in GNNs, especially their roles played during distillation. In this paper, we first quantify the knowledge reliability in GNN by measuring the invariance of their information entropy to noise perturbations, from which we observe that different knowledge points (1) show different distillation speeds (temporally); (2) are differentially distributed in the graph (spatially). To achieve reliable distillation, we propose an effective approach, namely Knowledge-inspired Reliable Distillation (KRD), that models the probability of each node being an informative and reliable knowledge point, based on which we sample a set of additional reliable knowledge points as supervision for training student MLPs. Extensive experiments show that KRD improves over the vanilla MLPs by 12.62% and outperforms its corresponding teacher GNNs by 2.16% averaged over 7 datasets and 3 GNN architectures.
• Abstract（参考訳）: トポロジを意識したグラフニューラルネットワーク(GNN)と推論効率のよいMLP(Multi-Layer Perceptron)のギャップを埋めるために、GLNNは、よく訓練された教師GNNからの知識を学生MLPに抽出することを提案する。 彼らの大きな進歩にもかかわらず、GNNにおける異なる知識ポイント(ノード)の信頼性、特に蒸留時に果たす役割について、比較的少ない研究がなされている。 本稿では,まず,gnn における情報エントロピーのノイズ摂動に対する不均一性を測定し,その知識点が異なる蒸留速度(一時的に)を示すこと,(2) をグラフに差動分布すること,などにより,gnn の知識信頼性を定量化する。 信頼性の高い蒸留を実現するために,我々は,各ノードが情報的かつ信頼性の高い知識ポイントである確率をモデル化する,KRD (Knowledge-inspired Reliable Distillation) という効果的な手法を提案する。 大規模な実験により、KRDはバニラのMLPを12.62%改善し、対応する教師GNNを7つのデータセットと3つのGNNアーキテクチャで平均2.16%上回った。

関連論文リスト

• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation [56.912354708167534]
  グラフニューラルネットワーク(GNN)と軽量マルチ層パーセプトロン(MLP) GNNto-MLP Knowledge Distillation (KD)は、よく訓練された教師であるGNNの知識を学生に蒸留することを提案する。 本稿では,単純かつ効果的なGNN-to-MLP蒸留(HGMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-20T06:13:00Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework [36.160251860788314]
  完全周波数GNN-to-MLP (FFG2M) 蒸留フレームワークを提案する。 我々は、GNNが学んだ知識をスペクトル領域の低周波成分と高周波成分に分解する。 既存のGNN-to-MLP蒸留における入水可能性について検討する。
  論文  参考訳（メタデータ） (2023-05-18T06:57:06Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。