論文の概要: On Representation Knowledge Distillation for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2111.04964v1
- Date: Tue, 9 Nov 2021 06:22:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-10 14:42:22.059579
- Title: On Representation Knowledge Distillation for Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークの表現知識蒸留について
- Authors: Chaitanya K. Joshi, Fayao Liu, Xu Xun, Jie Lin, Chuan-Sheng Foo
- Abstract要約: 我々は,教師がグラフデータを埋め込む方法のグローバルなトポロジを保存することが,GNNにとってより効果的な蒸留目標になるかどうかを検討する。
1)グローバル構造保存損失(GSP)と(2)グラフコントラスト表現蒸留(G-CRD)の2つの新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 15.82821940784549
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge distillation is a promising learning paradigm for boosting the
performance and reliability of resource-efficient graph neural networks (GNNs)
using more expressive yet cumbersome teacher models. Past work on distillation
for GNNs proposed the Local Structure Preserving loss (LSP), which matches
local structural relationships across the student and teacher's node embedding
spaces. In this paper, we make two key contributions:
From a methodological perspective, we study whether preserving the global
topology of how the teacher embeds graph data can be a more effective
distillation objective for GNNs, as real-world graphs often contain latent
interactions and noisy edges. The purely local LSP objective over pre-defined
edges is unable to achieve this as it ignores relationships among disconnected
nodes. We propose two new approaches which better preserve global topology: (1)
Global Structure Preserving loss (GSP), which extends LSP to incorporate all
pairwise interactions; and (2) Graph Contrastive Representation Distillation
(G-CRD), which uses contrastive learning to align the student node embeddings
to those of the teacher in a shared representation space.
From an experimental perspective, we introduce an expanded set of benchmarks
on large-scale real-world datasets where the performance gap between teacher
and student GNNs is non-negligible. We believe this is critical for testing the
efficacy and robustness of knowledge distillation, but was missing from the LSP
study which used synthetic datasets with trivial performance gaps. Experiments
across 4 datasets and 14 heterogeneous GNN architectures show that G-CRD
consistently boosts the performance and robustness of lightweight GNN models,
outperforming the structure preserving approaches, LSP and GSP, as well as
baselines adapted from 2D computer vision.
- Abstract（参考訳）: 知識蒸留は、より表現力のある教師モデルを用いて、資源効率の高いグラフニューラルネットワーク(GNN)の性能と信頼性を高めるための、有望な学習パラダイムである。
GNNの蒸留に関する過去の研究は、学生と教師のノード埋め込み空間間の局所構造関係に一致する局所構造保存損失(LSP)を提案した。
本稿では,教師がグラフデータをどのように埋め込むかというグローバルなトポロジを保存することが,GNNにとってより効果的な蒸留目標になるかどうかを,方法論的な観点から検討する。
定義済みエッジ上の純粋に局所的なLSP目的は、切断されたノード間の関係を無視するため、これを達成できない。
グローバルトポロジーをよく保存する手法として,(1)lspを拡張して全対相互作用を包含するグローバル構造保存損失 (gsp) と(2)コントラスト学習を用いたグラフコントラスト表現蒸留 (g-crd) の2つを提案する。
実験的な観点から,教師と学生のGNNのパフォーマンスギャップが無視できない大規模実世界のデータセットのベンチマークを拡張的に導入する。
これは知識蒸留の有効性と堅牢性をテストする上で重要であると我々は信じているが、簡単な性能ギャップを持つ合成データセットを用いたLSP研究には欠落していた。
4つのデータセットと14の異種GNNアーキテクチャによる実験により、G-CRDは軽量GNNモデルの性能とロバスト性を一貫して向上し、構造保存アプローチ、LSP、GSP、および2Dコンピュータビジョンから適応したベースラインよりも優れていた。
関連論文リスト
- GRE^2-MDCL: Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning [0.0]
グラフ表現学習は、ノードをベクトル表現にマッピングする際にグラフトポロジを保存する強力なツールとして登場した。
現在のグラフニューラルネットワークモデルは、広範なラベル付きデータを必要とするという課題に直面している。
多次元コントラスト学習によるグラフ表現埋め込みを提案する。
論文 参考訳（メタデータ） (2024-09-12T03:09:05Z) - Self-Attention Empowered Graph Convolutional Network for Structure
Learning and Node Embedding [5.164875580197953]
グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。
本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。
提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
論文 参考訳（メタデータ） (2024-03-06T05:00:31Z) - Breaking the Entanglement of Homophily and Heterophily in
Semi-supervised Node Classification [25.831508778029097]
統計的観点から,ノードプロファイルとトポロジの関係を定量化するAMUDを提案する。
また、AMUDのための新しい有向グラフ学習パラダイムとしてADPAを提案する。
論文 参考訳（メタデータ） (2023-12-07T07:54:11Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。
非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文 参考訳（メタデータ） (2023-05-29T04:51:09Z) - T2-GNN: Graph Neural Networks for Graphs with Incomplete Features and
Structure via Teacher-Student Distillation [65.43245616105052]
グラフニューラルネットワーク(GNN)は,様々な解析タスクをグラフデータ上で処理する手法として普及している。
本稿では,教師による蒸留に基づく一般GNNフレームワークを提案し,不完全グラフ上でのGNNの性能向上を図る。
論文 参考訳（メタデータ） (2022-12-24T13:49:44Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。
オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。
本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
論文 参考訳（メタデータ） (2021-10-26T15:56:16Z) - Self-supervised Graph Learning for Recommendation [69.98671289138694]
ユーザ・イテムグラフを用いた自己教師型学習を推奨する。
補助的自己監督タスクは、自己識別によるノード表現学習を強化する。
3つのベンチマークデータセットに関する実証的研究は、SGLの有効性を示す。
論文 参考訳（メタデータ） (2020-10-21T06:35:26Z) - Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている
本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。
提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
論文 参考訳（メタデータ） (2020-03-23T18:23:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。