論文の概要: Data-Free Adversarial Knowledge Distillation for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2205.03811v1
• Date: Sun, 8 May 2022 08:19:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-11 06:48:19.289549
• Title: Data-Free Adversarial Knowledge Distillation for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのためのデータフリー逆知識蒸留
• Authors: Yuanxin Zhuang, Lingjuan Lyu, Chuan Shi, Carl Yang, Lichao Sun
• Abstract要約: グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 62.71646916191515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks (GNNs) have been widely used in modeling graph structured data, owing to its impressive performance in a wide range of practical applications. Recently, knowledge distillation (KD) for GNNs has enabled remarkable progress in graph model compression and knowledge transfer. However, most of the existing KD methods require a large volume of real data, which are not readily available in practice, and may preclude their applicability in scenarios where the teacher model is trained on rare or hard to acquire datasets. To address this problem, we propose the first end-to-end framework for data-free adversarial knowledge distillation on graph structured data (DFAD-GNN). To be specific, our DFAD-GNN employs a generative adversarial network, which mainly consists of three components: a pre-trained teacher model and a student model are regarded as two discriminators, and a generator is utilized for deriving training graphs to distill knowledge from the teacher model into the student model. Extensive experiments on various benchmark models and six representative datasets demonstrate that our DFAD-GNN significantly surpasses state-of-the-art data-free baselines in the graph classification task.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングに広く用いられている。 近年,GNNの知識蒸留(KD)により,グラフモデルの圧縮と知識伝達が著しく進歩している。 しかし、既存のkdメソッドのほとんどが、実際に簡単には利用できない大量の実データを必要としており、教師モデルが稀な、あるいはデータを取得するのが難しいというシナリオで、その適用性を妨げる可能性がある。 この問題に対処するため,グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための最初のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 様々なベンチマークモデルと6つの代表的なデータセットに対する大規模な実験により、DFAD-GNNはグラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っていることが示された。

関連論文リスト

• GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
  グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。 近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。 本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-10T08:37:39Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• Frameless Graph Knowledge Distillation [27.831929635701886]
  教師が提供したグラフ知識は,代数と幾何学の両方を通して学生モデルによって学習され,消化されるかを示す。 提案モデルでは,推論の高速化を維持しながら,教師モデルと同一あるいはそれ以上の学習精度を生成できる。
  論文  参考訳（メタデータ） (2023-07-13T08:56:50Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• EXPERT: Public Benchmarks for Dynamic Heterogeneous Academic Graphs [5.4744970832051445]
  グラフ予測タスクのために開発されたモデルの有効性を検証するために,大規模で動的に異種な学術グラフを提案する。 我々の新しいデータセットは、人工知能(AI)と核拡散(NN)の2つのコミュニティにわたる科学出版物から抽出された文脈情報と内容情報の両方をカバーしている。
  論文  参考訳（メタデータ） (2022-04-14T19:43:34Z)
• Multi network InfoMax: A pre-training method involving graph convolutional networks [0.0]
  本稿では,グラフ畳み込み/ニューラルネットワーク(GCN/GNN)を含む事前学習手法を提案する。 学習された高レベルグラフ潜在表現は、下流グラフ分類タスクのパフォーマンス向上に役立つ。 我々は、被験者を健康管理群(HC)と統合失調症群(SZ)に分類するための神経画像データセットに適用した。
  論文  参考訳（メタデータ） (2021-11-01T21:53:20Z)
• Extract the Knowledge of Graph Neural Networks and Go Beyond it: An Effective Knowledge Distillation Framework [42.57467126227328]
  半教師学習の課題をグラフ上で解決するための知識蒸留に基づくフレームワークを提案する。 このフレームワークは、任意の学習したGNNモデルの知識を抽出し、よく設計された学生モデルに注入する。 実験結果から,学習者モデルは平均1.4%～4.7%の教師モデルより一貫して優れていた。
  論文  参考訳（メタデータ） (2021-03-04T08:13:55Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Self-supervised Training of Graph Convolutional Networks [39.80867112204255]
  グラフ畳み込みネットワーク(GCN)は、非グリッドデータの解析に成功している。 本稿では,入力グラフ構造データ自体から利用可能な情報を活用するための2種類の自己教師型学習戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-03T16:53:37Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。