論文の概要: Quantifying the Knowledge in GNNs for Reliable Distillation into MLPs
- arxiv url: http://arxiv.org/abs/2306.05628v1
- Date: Fri, 9 Jun 2023 02:23:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 15:07:57.578209
- Title: Quantifying the Knowledge in GNNs for Reliable Distillation into MLPs
- Title(参考訳): MLPへの信頼性蒸留のためのGNNの知識の定量化
- Authors: Lirong Wu, Haitao Lin, Yufei Huang, Stan Z. Li
- Abstract要約: トポロジを意識したグラフニューラルネットワーク(GNN)と推論効率のよいマルチ層パーセプトロン(MLP)のギャップを埋めるために、GLNNは、よく訓練された教師であるGNNから学生に知識を抽出することを提案する。
まず、GNNにおける情報エントロピーとノイズ摂動の不変性を測定することにより、知識信頼性の定量化を行う。
本稿では,各ノードが情報的かつ信頼性の高い知識ポイントである確率をモデル化する,知識に着想を得た信頼性蒸留(KRD)を提案する。
- 参考スコア(独自算出の注目度): 42.38007308086495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To bridge the gaps between topology-aware Graph Neural Networks (GNNs) and
inference-efficient Multi-Layer Perceptron (MLPs), GLNN proposes to distill
knowledge from a well-trained teacher GNN into a student MLP. Despite their
great progress, comparatively little work has been done to explore the
reliability of different knowledge points (nodes) in GNNs, especially their
roles played during distillation. In this paper, we first quantify the
knowledge reliability in GNN by measuring the invariance of their information
entropy to noise perturbations, from which we observe that different knowledge
points (1) show different distillation speeds (temporally); (2) are
differentially distributed in the graph (spatially). To achieve reliable
distillation, we propose an effective approach, namely Knowledge-inspired
Reliable Distillation (KRD), that models the probability of each node being an
informative and reliable knowledge point, based on which we sample a set of
additional reliable knowledge points as supervision for training student MLPs.
Extensive experiments show that KRD improves over the vanilla MLPs by 12.62%
and outperforms its corresponding teacher GNNs by 2.16% averaged over 7
datasets and 3 GNN architectures.
- Abstract(参考訳): トポロジを意識したグラフニューラルネットワーク(GNN)と推論効率のよいMLP(Multi-Layer Perceptron)のギャップを埋めるために、GLNNは、よく訓練された教師GNNからの知識を学生MLPに抽出することを提案する。
彼らの大きな進歩にもかかわらず、GNNにおける異なる知識ポイント(ノード)の信頼性、特に蒸留時に果たす役割について、比較的少ない研究がなされている。
本稿では,まず,gnn における情報エントロピーのノイズ摂動に対する不均一性を測定し,その知識点が異なる蒸留速度(一時的に)を示すこと,(2) をグラフに差動分布すること,などにより,gnn の知識信頼性を定量化する。
信頼性の高い蒸留を実現するために,我々は,各ノードが情報的かつ信頼性の高い知識ポイントである確率をモデル化する,KRD (Knowledge-inspired Reliable Distillation) という効果的な手法を提案する。
大規模な実験により、KRDはバニラのMLPを12.62%改善し、対応する教師GNNを7つのデータセットと3つのGNNアーキテクチャで平均2.16%上回った。
関連論文リスト
- A Teacher-Free Graph Knowledge Distillation Framework with Dual
Self-Distillation [58.813991312803246]
本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。
TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
論文 参考訳(メタデータ) (2024-03-06T05:52:13Z) - Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。
GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。
以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-09-12T09:18:12Z) - VQGraph: Rethinking Graph Representation Space for Bridging GNNs and
MLPs [97.63412451659826]
VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。
VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2023-08-04T02:58:08Z) - Shared Growth of Graph Neural Networks via Prompted Free-direction
Knowledge Distillation [39.35619721100205]
グラフニューラルネットワーク(GNN)の強化学習による初のフリーダイレクト知識蒸留フレームワークを提案する。
私たちの中核となる考え方は、より浅い2つのGNNを共同で学習し、それら間で知識を交換することです。
5つのベンチマークデータセットの実験では、我々のアプローチはベースGNNよりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2023-07-02T10:03:01Z) - Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and
Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework [36.160251860788314]
完全周波数GNN-to-MLP (FFG2M) 蒸留フレームワークを提案する。
我々は、GNNが学んだ知識をスペクトル領域の低周波成分と高周波成分に分解する。
既存のGNN-to-MLP蒸留における入水可能性について検討する。
論文 参考訳(メタデータ) (2023-05-18T06:57:06Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z) - Teaching Yourself: Graph Self-Distillation on Neighborhood for Node
Classification [42.840122801915996]
本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。
GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
論文 参考訳(メタデータ) (2022-10-05T08:35:34Z) - On Self-Distilling Graph Neural Network [64.00508355508106]
GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。
本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。
また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
論文 参考訳(メタデータ) (2020-11-04T12:29:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。