論文の概要: On Self-Distilling Graph Neural Network
- arxiv url: http://arxiv.org/abs/2011.02255v2
- Date: Fri, 30 Apr 2021 04:31:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 21:29:17.293559
- Title: On Self-Distilling Graph Neural Network
- Title(参考訳): 自己蒸留グラフニューラルネットワークについて
- Authors: Yuzhao Chen, Yatao Bian, Xi Xiao, Yu Rong, Tingyang Xu, Junzhou Huang
- Abstract要約: GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。
本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。
また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
- 参考スコア(独自算出の注目度): 64.00508355508106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the teacher-student knowledge distillation framework has
demonstrated its potential in training Graph Neural Networks (GNNs). However,
due to the difficulty of training over-parameterized GNN models, one may not
easily obtain a satisfactory teacher model for distillation. Furthermore, the
inefficient training process of teacher-student knowledge distillation also
impedes its applications in GNN models. In this paper, we propose the first
teacher-free knowledge distillation method for GNNs, termed GNN
Self-Distillation (GNN-SD), that serves as a drop-in replacement of the
standard training process. The method is built upon the proposed neighborhood
discrepancy rate (NDR), which quantifies the non-smoothness of the embedded
graph in an efficient way. Based on this metric, we propose the adaptive
discrepancy retaining (ADR) regularizer to empower the transferability of
knowledge that maintains high neighborhood discrepancy across GNN layers. We
also summarize a generic GNN-SD framework that could be exploited to induce
other distillation strategies. Experiments further prove the effectiveness and
generalization of our approach, as it brings: 1) state-of-the-art GNN
distillation performance with less training cost, 2) consistent and
considerable performance enhancement for various popular backbones.
- Abstract(参考訳): 近年,教師による知識蒸留フレームワークがグラフニューラルネットワーク(GNN)の学習においてその可能性を実証している。
しかし, 過パラメータ化GNNモデルの訓練が困難であるため, 蒸留に適した教師モデルを得ることは困難である。
さらに、教師の知識蒸留の非効率な訓練プロセスは、GNNモデルにもその適用を妨げている。
本稿では,GNN 自己蒸留 (GNN-SD) と呼ばれる GNN の教師なし知識蒸留法を提案する。
本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。
本稿では,GNN層にまたがる高次差分を維持する知識の伝達可能性を高めるために,適応的差分保持(ADR)レギュレータを提案する。
また,他の蒸留戦略を誘導するために活用できる汎用gnn-sdフレームワークもまとめた。
実験は、我々のアプローチの有効性と一般化をさらに証明します。
1)訓練費の少ない最先端のGNN蒸留性能。
2) 様々な人気バックボーンの一貫性と大幅な性能向上。
関連論文リスト
- A Teacher-Free Graph Knowledge Distillation Framework with Dual
Self-Distillation [58.813991312803246]
本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。
TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
論文 参考訳(メタデータ) (2024-03-06T05:52:13Z) - NetDistiller: Empowering Tiny Deep Learning via In-Situ Distillation [19.93322471957759]
我々はTNNの達成可能な精度を高めるためにNetDistillerというフレームワークを提案する。
このフレームワークは、TNNのチャンネル数を拡大することによって構築された、ウェイトシェアリングの教師のサブネットワークとして扱う。
私たちのコードはhttps://github.com/GATECH-EIC/NetDistiller.comから入手可能です。
論文 参考訳(メタデータ) (2023-10-24T04:27:51Z) - GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。
本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。
DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
論文 参考訳(メタデータ) (2023-10-23T05:51:59Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - Shared Growth of Graph Neural Networks via Prompted Free-direction
Knowledge Distillation [39.35619721100205]
グラフニューラルネットワーク(GNN)の強化学習による初のフリーダイレクト知識蒸留フレームワークを提案する。
私たちの中核となる考え方は、より浅い2つのGNNを共同で学習し、それら間で知識を交換することです。
5つのベンチマークデータセットの実験では、我々のアプローチはベースGNNよりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2023-07-02T10:03:01Z) - RELIANT: Fair Knowledge Distillation for Graph Neural Networks [39.22568244059485]
グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクのパフォーマンスを満足することを示した。
知識蒸留(KD)はGNNを圧縮する一般的な方法である。
本稿では,学生モデルが提示するバイアスを軽減するために,RELIANTという原理的枠組みを提案する。
論文 参考訳(メタデータ) (2023-01-03T15:21:24Z) - HIRE: Distilling High-order Relational Knowledge From Heterogeneous
Graph Neural Networks [4.713436329217004]
本稿では,事前学習したHGNNからリレーショナル知識を蒸留する多目的プラグアンドプレイモジュールを提案する。
我々の知識を最大限に活用するために、不均一グラフ上のHIRE(HIgh-order Relational)知識蒸留フレームワークを最初に提案する。
論文 参考訳(メタデータ) (2022-07-25T03:25:15Z) - Optimization of Graph Neural Networks: Implicit Acceleration by Skip
Connections and More Depth [57.10183643449905]
グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。
GNNのダイナミクスを深部スキップ最適化により研究する。
本研究は,GNNの成功に対する最初の理論的支援を提供する。
論文 参考訳(メタデータ) (2021-05-10T17:59:01Z) - Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている
本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。
提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
論文 参考訳(メタデータ) (2020-03-23T18:23:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。