論文の概要: Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework

• arxiv url: http://arxiv.org/abs/2305.10758v1
• Date: Thu, 18 May 2023 06:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 16:33:36.220823
• Title: Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework
• Title（参考訳）: グラフニューラルネットワークからの低周波・高周波知識の抽出とMLPへの注入:効率的なGNN-to-MLP蒸留フレームワーク
• Authors: Lirong Wu, Haitao Lin, Yufei Huang, Tianyu Fan, and Stan Z. Li
• Abstract要約: 完全周波数GNN-to-MLP (FFG2M) 蒸留フレームワークを提案する。 我々は、GNNが学んだ知識をスペクトル領域の低周波成分と高周波成分に分解する。 既存のGNN-to-MLP蒸留における入水可能性について検討する。
• 参考スコア（独自算出の注目度）: 36.160251860788314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed the great success of Graph Neural Networks (GNNs) in handling graph-related tasks. However, MLPs remain the primary workhorse for practical industrial applications due to their desirable inference efficiency and scalability. To reduce their gaps, one can directly distill knowledge from a well-designed teacher GNN to a student MLP, which is termed as GNN-to-MLP distillation. However, the process of distillation usually entails a loss of information, and ``which knowledge patterns of GNNs are more likely to be left and distilled into MLPs?" becomes an important question. In this paper, we first factorize the knowledge learned by GNNs into low- and high-frequency components in the spectral domain and then derive their correspondence in the spatial domain. Furthermore, we identified a potential information drowning problem for existing GNN-to-MLP distillation, i.e., the high-frequency knowledge of the pre-trained GNNs may be overwhelmed by the low-frequency knowledge during distillation; we have described in detail what it represents, how it arises, what impact it has, and how to deal with it. In this paper, we propose an efficient Full-Frequency GNN-to-MLP (FF-G2M) distillation framework, which extracts both low-frequency and high-frequency knowledge from GNNs and injects it into MLPs. Extensive experiments show that FF-G2M improves over the vanilla MLPs by 12.6% and outperforms its corresponding teacher GNNs by 2.6% averaged over six graph datasets and three common GNN architectures.
• Abstract（参考訳）: 近年、グラフ関連タスクの処理においてグラフニューラルネットワーク(GNN)が大きな成功を収めているのを目撃している。 しかし、MLPは推論効率とスケーラビリティが望ましいため、実用的な産業アプリケーションの主要な作業場である。 ギャップを減らすために、よく設計された教師GNNから、GNN-to-MLP蒸留と呼ばれる学生MLPへの知識を直接蒸留することができる。 しかし、蒸留の過程は通常、情報の喪失を伴い、「GNNのどの知識パターンが残され、MLPに蒸留されるか」は重要な問題となっている。 本稿では,まず,gnnが学習した知識をスペクトル領域の低周波成分と高周波成分に分解し,その空間領域における対応関係を導出する。 さらに,既存のgnn-to-mlp蒸留における潜在的な情報ドローイング問題,すなわち,事前訓練されたgnnの高周波知識は,蒸留中の低周波知識に圧倒される可能性があることを明らかにした。 本稿では,GNNから低周波および高周波の知識を抽出し,MPPに注入する全周波数GNN-to-MLP(FF-G2M)蒸留フレームワークを提案する。 大規模な実験により、FF-G2MはバニラMLPを12.6%改善し、対応する教師GNNを6つのグラフデータセットと3つの共通GNNアーキテクチャで平均2.6%上回った。

関連論文リスト

• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation [56.912354708167534]
  グラフニューラルネットワーク(GNN)と軽量マルチ層パーセプトロン(MLP) GNNto-MLP Knowledge Distillation (KD)は、よく訓練された教師であるGNNの知識を学生に蒸留することを提案する。 本稿では,単純かつ効果的なGNN-to-MLP蒸留(HGMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-20T06:13:00Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Quantifying the Knowledge in GNNs for Reliable Distillation into MLPs [42.38007308086495]
  トポロジを意識したグラフニューラルネットワーク(GNN)と推論効率のよいマルチ層パーセプトロン(MLP)のギャップを埋めるために、GLNNは、よく訓練された教師であるGNNから学生に知識を抽出することを提案する。 まず、GNNにおける情報エントロピーとノイズ摂動の不変性を測定することにより、知識信頼性の定量化を行う。 本稿では,各ノードが情報的かつ信頼性の高い知識ポイントである確率をモデル化する,知識に着想を得た信頼性蒸留(KRD)を提案する。
  論文  参考訳（メタデータ） (2023-06-09T02:23:37Z)
• Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification [42.840122801915996]
  本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。 GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
  論文  参考訳（メタデータ） (2022-10-05T08:35:34Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。