論文の概要: On Self-Distilling Graph Neural Network

• arxiv url: http://arxiv.org/abs/2011.02255v2
• Date: Fri, 30 Apr 2021 04:31:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 21:29:17.293559
• Title: On Self-Distilling Graph Neural Network
• Title（参考訳）: 自己蒸留グラフニューラルネットワークについて
• Authors: Yuzhao Chen, Yatao Bian, Xi Xiao, Yu Rong, Tingyang Xu, Junzhou Huang
• Abstract要約: GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
• 参考スコア（独自算出の注目度）: 64.00508355508106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the teacher-student knowledge distillation framework has demonstrated its potential in training Graph Neural Networks (GNNs). However, due to the difficulty of training over-parameterized GNN models, one may not easily obtain a satisfactory teacher model for distillation. Furthermore, the inefficient training process of teacher-student knowledge distillation also impedes its applications in GNN models. In this paper, we propose the first teacher-free knowledge distillation method for GNNs, termed GNN Self-Distillation (GNN-SD), that serves as a drop-in replacement of the standard training process. The method is built upon the proposed neighborhood discrepancy rate (NDR), which quantifies the non-smoothness of the embedded graph in an efficient way. Based on this metric, we propose the adaptive discrepancy retaining (ADR) regularizer to empower the transferability of knowledge that maintains high neighborhood discrepancy across GNN layers. We also summarize a generic GNN-SD framework that could be exploited to induce other distillation strategies. Experiments further prove the effectiveness and generalization of our approach, as it brings: 1) state-of-the-art GNN distillation performance with less training cost, 2) consistent and considerable performance enhancement for various popular backbones.
• Abstract（参考訳）: 近年,教師による知識蒸留フレームワークがグラフニューラルネットワーク(GNN)の学習においてその可能性を実証している。 しかし, 過パラメータ化GNNモデルの訓練が困難であるため, 蒸留に適した教師モデルを得ることは困難である。 さらに、教師の知識蒸留の非効率な訓練プロセスは、GNNモデルにもその適用を妨げている。 本稿では,GNN 自己蒸留 (GNN-SD) と呼ばれる GNN の教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 本稿では,GNN層にまたがる高次差分を維持する知識の伝達可能性を高めるために,適応的差分保持(ADR)レギュレータを提案する。 また,他の蒸留戦略を誘導するために活用できる汎用gnn-sdフレームワークもまとめた。 実験は、我々のアプローチの有効性と一般化をさらに証明します。 1)訓練費の少ない最先端のGNN蒸留性能。 2) 様々な人気バックボーンの一貫性と大幅な性能向上。

関連論文リスト

• Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation [56.912354708167534]
  グラフニューラルネットワーク(GNN)と軽量マルチ層パーセプトロン(MLP) GNNto-MLP Knowledge Distillation (KD)は、よく訓練された教師であるGNNの知識を学生に蒸留することを提案する。 本稿では,単純かつ効果的なGNN-to-MLP蒸留(HGMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-20T06:13:00Z)
• Self-Distillation Learning Based on Temporal-Spatial Consistency for Spiking Neural Networks [3.7748662901422807]
  スパイキングニューラルネットワーク(SNN)は、その事象駆動性、低消費電力特性、高い生物学的解釈性によって大きな注目を集めている。 近年,教員モデルによるSNNモデルの性能向上が報告されている。 本稿では,これらの問題を回避するために,コスト効率の高いSNNの自己蒸留学習について検討する。
  論文  参考訳（メタデータ） (2024-06-12T04:30:40Z)
• Online GNN Evaluation Under Test-time Graph Distribution Shifts [92.4376834462224]
  オンラインGNN評価という新たな研究課題は、よく訓練されたGNNが現実世界の未ラベルグラフに一般化する能力について、貴重な洞察を提供することを目的としている。 我々は、よく訓練されたGNNモデルのテスト時間一般化誤差を推定するために、LeBeDと呼ばれる効果的な学習行動不一致スコアを開発する。
  論文  参考訳（メタデータ） (2024-03-15T01:28:08Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• NetDistiller: Empowering Tiny Deep Learning via In-Situ Distillation [19.93322471957759]
  我々はTNNの達成可能な精度を高めるためにNetDistillerというフレームワークを提案する。 このフレームワークは、TNNのチャンネル数を拡大することによって構築された、ウェイトシェアリングの教師のサブネットワークとして扱う。 私たちのコードはhttps://github.com/GATECH-EIC/NetDistiller.comから入手可能です。
  論文  参考訳（メタデータ） (2023-10-24T04:27:51Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Shared Growth of Graph Neural Networks via Prompted Free-direction Knowledge Distillation [39.35619721100205]
  グラフニューラルネットワーク(GNN)の強化学習による初のフリーダイレクト知識蒸留フレームワークを提案する。 私たちの中核となる考え方は、より浅い2つのGNNを共同で学習し、それら間で知識を交換することです。 5つのベンチマークデータセットの実験では、我々のアプローチはベースGNNよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2023-07-02T10:03:01Z)
• RELIANT: Fair Knowledge Distillation for Graph Neural Networks [39.22568244059485]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクのパフォーマンスを満足することを示した。 知識蒸留(KD)はGNNを圧縮する一般的な方法である。 本稿では,学生モデルが提示するバイアスを軽減するために,RELIANTという原理的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-01-03T15:21:24Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。