論文の概要: Extract the Knowledge of Graph Neural Networks and Go Beyond it: An Effective Knowledge Distillation Framework

• arxiv url: http://arxiv.org/abs/2103.02885v1
• Date: Thu, 4 Mar 2021 08:13:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-07 10:23:20.674151
• Title: Extract the Knowledge of Graph Neural Networks and Go Beyond it: An Effective Knowledge Distillation Framework
• Title（参考訳）: グラフニューラルネットワークの知識を抽出し、その先へ進む:効果的な知識蒸留フレームワーク
• Authors: Cheng Yang, Jiawei Liu and Chuan Shi
• Abstract要約: 半教師学習の課題をグラフ上で解決するための知識蒸留に基づくフレームワークを提案する。 このフレームワークは、任意の学習したGNNモデルの知識を抽出し、よく設計された学生モデルに注入する。 実験結果から,学習者モデルは平均1.4%～4.7%の教師モデルより一貫して優れていた。
• 参考スコア（独自算出の注目度）: 42.57467126227328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semi-supervised learning on graphs is an important problem in the machine learning area. In recent years, state-of-the-art classification methods based on graph neural networks (GNNs) have shown their superiority over traditional ones such as label propagation. However, the sophisticated architectures of these neural models will lead to a complex prediction mechanism, which could not make full use of valuable prior knowledge lying in the data, e.g., structurally correlated nodes tend to have the same class. In this paper, we propose a framework based on knowledge distillation to address the above issues. Our framework extracts the knowledge of an arbitrary learned GNN model (teacher model), and injects it into a well-designed student model. The student model is built with two simple prediction mechanisms, i.e., label propagation and feature transformation, which naturally preserves structure-based and feature-based prior knowledge, respectively. In specific, we design the student model as a trainable combination of parameterized label propagation and feature transformation modules. As a result, the learned student can benefit from both prior knowledge and the knowledge in GNN teachers for more effective predictions. Moreover, the learned student model has a more interpretable prediction process than GNNs. We conduct experiments on five public benchmark datasets and employ seven GNN models including GCN, GAT, APPNP, SAGE, SGC, GCNII and GLP as the teacher models. Experimental results show that the learned student model can consistently outperform its corresponding teacher model by 1.4% - 4.7% on average. Code and data are available at https://github.com/BUPT-GAMMA/CPF
• Abstract（参考訳）: グラフ上の半教師付き学習は、機械学習の分野で重要な問題です。 近年,グラフニューラルネットワーク(GNN)に基づく最先端の分類手法が,ラベル伝搬などの従来の手法よりも優れていることが示されている。 しかし、これらのニューラルモデルの洗練されたアーキテクチャは複雑な予測メカニズムにつながり、例えば構造的に関連付けられたノードは同じクラスを持つ傾向があるため、データにある貴重な事前知識をフルに利用できない。 本稿では,上記の課題を解決するための知識蒸留に基づく枠組みを提案する。 本フレームワークは、任意の学習gnnモデル(教師モデル)の知識を抽出し、よく設計された学生モデルに注入する。 学生モデルは2つの単純な予測機構、すなわちラベル伝搬と特徴変換で構築され、それぞれ構造に基づく事前知識と特徴に基づく事前知識を自然に保存する。 具体的には,パラメータ化ラベル伝搬と特徴変換モジュールの訓練可能な組み合わせとして,学生モデルを設計する。 その結果、学習した学生は、gnn教師の事前知識と知識の両方から、より効果的な予測を得ることができる。 さらに,学習者モデルはgnnよりも解釈可能な予測プロセスを有する。 我々は5つの公開ベンチマークデータセットの実験を行い、教師モデルとしてGCN, GAT, APPNP, SAGE, SGC, GCNII, GLPを含む7つのGNNモデルを用いる。 実験結果から,学習者モデルは平均1.4%～4.7%の教師モデルより一貫して優れていた。 コードとデータはhttps://github.com/BUPT-GAMMA/CPFで入手できます。

関連論文リスト

• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Frameless Graph Knowledge Distillation [27.831929635701886]
  教師が提供したグラフ知識は,代数と幾何学の両方を通して学生モデルによって学習され,消化されるかを示す。 提案モデルでは,推論の高速化を維持しながら,教師モデルと同一あるいはそれ以上の学習精度を生成できる。
  論文  参考訳（メタデータ） (2023-07-13T08:56:50Z)
• Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks [80.8446673089281]
  グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。 本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
  論文  参考訳（メタデータ） (2022-10-24T08:01:58Z)
• Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation [41.00398052556643]
  本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。 識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。 その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T00:04:43Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Streaming Graph Neural Networks via Continual Learning [31.810308087441445]
  グラフニューラルネットワーク(GNN)は様々なアプリケーションで高いパフォーマンスを実現している。 本稿では,連続学習に基づくストリーミングGNNモデルを提案する。 モデルパラメータを効率的に更新し、モデル再トレーニングに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-23T06:52:30Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。