論文の概要: Frameless Graph Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2307.06631v1
• Date: Thu, 13 Jul 2023 08:56:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 15:17:03.770053
• Title: Frameless Graph Knowledge Distillation
• Title（参考訳）: フレームレスグラフ知識蒸留
• Authors: Dai Shi, Zhiqi Shao, Yi Guo, Junbin Gao
• Abstract要約: 教師が提供したグラフ知識は,代数と幾何学の両方を通して学生モデルによって学習され,消化されるかを示す。 提案モデルでは,推論の高速化を維持しながら,教師モデルと同一あるいはそれ以上の学習精度を生成できる。
• 参考スコア（独自算出の注目度）: 27.831929635701886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) has shown great potential for transferring knowledge from a complex teacher model to a simple student model in which the heavy learning task can be accomplished efficiently and without losing too much prediction accuracy. Recently, many attempts have been made by applying the KD mechanism to the graph representation learning models such as graph neural networks (GNNs) to accelerate the model's inference speed via student models. However, many existing KD-based GNNs utilize MLP as a universal approximator in the student model to imitate the teacher model's process without considering the graph knowledge from the teacher model. In this work, we provide a KD-based framework on multi-scaled GNNs, known as graph framelet, and prove that by adequately utilizing the graph knowledge in a multi-scaled manner provided by graph framelet decomposition, the student model is capable of adapting both homophilic and heterophilic graphs and has the potential of alleviating the over-squashing issue with a simple yet effectively graph surgery. Furthermore, we show how the graph knowledge supplied by the teacher is learned and digested by the student model via both algebra and geometry. Comprehensive experiments show that our proposed model can generate learning accuracy identical to or even surpass the teacher model while maintaining the high speed of inference.
• Abstract（参考訳）: 知識蒸留(KD)は、複雑な教師モデルから単純な学生モデルへ知識を伝達する大きな可能性を示しており、重度学習タスクを効率よく達成でき、予測精度を過度に損なうことなく得る。 近年,グラフニューラルネットワーク(GNN)などのグラフ表現学習モデルにKD機構を適用して,学生モデルによるモデル推論速度を高速化する試みが数多く行われている。 しかし、既存のKDベースのGNNの多くは、教師モデルからのグラフ知識を考慮せずに、教師モデルのプロセスを模倣するために、学生モデルにおける普遍的な近似子としてMLPを使用している。 本研究では,グラフフレームレットと呼ばれるマルチスケールGNNのKDベースのフレームワークを提供し,グラフフレームレットの分解によって得られるマルチスケールなグラフ知識を適切に活用することにより,学生モデルがホモ親和性グラフとヘテロ親和性グラフの両方を適応できることを示す。 さらに,教師が提供したグラフ知識が,代数と幾何学の両方を通じて学生モデルによって学習・消化されることを示す。 包括的実験により,提案モデルでは,推論の高速化を維持しながら,教師モデルと同一あるいは超越した学習精度が得られることが示された。

関連論文リスト

• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation [41.00398052556643]
  本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。 識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。 その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T00:04:43Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Extract the Knowledge of Graph Neural Networks and Go Beyond it: An Effective Knowledge Distillation Framework [42.57467126227328]
  半教師学習の課題をグラフ上で解決するための知識蒸留に基づくフレームワークを提案する。 このフレームワークは、任意の学習したGNNモデルの知識を抽出し、よく設計された学生モデルに注入する。 実験結果から,学習者モデルは平均1.4%～4.7%の教師モデルより一貫して優れていた。
  論文  参考訳（メタデータ） (2021-03-04T08:13:55Z)
• Tucker decomposition-based Temporal Knowledge Graph Completion [35.56360622521721]
  次数4テンソルのタッカー分解にインスパイアされた時間知識グラフ補完のための新しいテンソル分解モデルを構築する。 提案モデルは完全に表現力のあるモデルであることが実証され、いくつかの公開ベンチマークに対して最先端の結果が報告される。
  論文  参考訳（メタデータ） (2020-11-16T07:05:52Z)
• Iterative Graph Self-Distillation [161.04351580382078]
  我々は、IGSD(Iterative Graph Self-Distillation)と呼ばれる新しい教師なしグラフ学習パラダイムを提案する。 IGSDは、グラフ拡張による教師/学生の蒸留を反復的に行う。 我々は,教師なしと半教師なしの両方の設定において,さまざまなグラフデータセットに対して,有意かつ一貫したパフォーマンス向上を実現していることを示す。
  論文  参考訳（メタデータ） (2020-10-23T18:37:06Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。