論文の概要: Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2205.11678v1
• Date: Tue, 24 May 2022 00:04:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 12:55:15.072138
• Title: Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation
• Title（参考訳）: 逆知識蒸留によるディープグラフニューラルネットワークの圧縮
• Authors: Huarui He, Jie Wang, Zhanqiu Zhang, Feng Wu
• Abstract要約: 本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。 識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。 その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
• 参考スコア（独自算出の注目度）: 41.00398052556643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep graph neural networks (GNNs) have been shown to be expressive for modeling graph-structured data. Nevertheless, the over-stacked architecture of deep graph models makes it difficult to deploy and rapidly test on mobile or embedded systems. To compress over-stacked GNNs, knowledge distillation via a teacher-student architecture turns out to be an effective technique, where the key step is to measure the discrepancy between teacher and student networks with predefined distance functions. However, using the same distance for graphs of various structures may be unfit, and the optimal distance formulation is hard to determine. To tackle these problems, we propose a novel Adversarial Knowledge Distillation framework for graph models named GraphAKD, which adversarially trains a discriminator and a generator to adaptively detect and decrease the discrepancy. Specifically, noticing that the well-captured inter-node and inter-class correlations favor the success of deep GNNs, we propose to criticize the inherited knowledge from node-level and class-level views with a trainable discriminator. The discriminator distinguishes between teacher knowledge and what the student inherits, while the student GNN works as a generator and aims to fool the discriminator. To our best knowledge, GraphAKD is the first to introduce adversarial training to knowledge distillation in graph domains. Experiments on node-level and graph-level classification benchmarks demonstrate that GraphAKD improves the student performance by a large margin. The results imply that GraphAKD can precisely transfer knowledge from a complicated teacher GNN to a compact student GNN.
• Abstract（参考訳）: グラフ構造化データのモデリングにはディープグラフニューラルネットワーク(GNN)が有効であることが示されている。 それでも、ディープグラフモデルのスタックオーバーアーキテクチャは、モバイルや組み込みシステムへのデプロイと迅速なテストを困難にしている。 オーバースタックGNNを圧縮するため,教師学生による知識蒸留は,教師と学生のネットワーク間の差分を予め定義された距離関数で測定する,効果的な手法であることが判明した。 しかし、様々な構造のグラフに対して同じ距離を使うことは不適切であり、最適な距離定式化は決定しにくい。 そこで本研究では,グラフモデルに対して,識別器と生成器を交互に訓練し,不一致を適応的に検出し,低減する新しい知識蒸留フレームワークであるgraphakdを提案する。 具体的には,ノード間相関とクラス間相関が深いGNNの成功に有利であることに気付き,学習可能な識別器を用いてノードレベルおよびクラスレベルの視点から遺伝知識を批判する。 識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。 我々の知る限り、GraphAKDは、グラフ領域における知識蒸留に敵の訓練を導入した最初のものである。 ノードレベルおよびグラフレベルの分類ベンチマークの実験は、GraphAKDが学生のパフォーマンスを大きなマージンで改善することを示した。 その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。

関連論文リスト

• Hypergraph-enhanced Dual Semi-supervised Graph Classification [14.339207883093204]
  半教師付きグラフ分類のためのハイパーグラフ拡張DuALフレームワークHEALを提案する。 ノード間の高次関係をよりよく探求するために,複雑なノード依存を適応的に学習するハイパーグラフ構造を設計する。 学習したハイパーグラフに基づいて,ハイパーエッジ間の相互作用を捉える線グラフを導入する。
  論文  参考訳（メタデータ） (2024-05-08T02:44:13Z)
• SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
  グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。 本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。 また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
  論文  参考訳（メタデータ） (2024-04-21T13:11:59Z)
• Isomorphic-Consistent Variational Graph Auto-Encoders for Multi-Level Graph Representation Learning [9.039193854524763]
  本稿では,タスク非依存グラフ表現学習のためのアイソモルフィック-一貫性VGAE(IsoC-VGAE)を提案する。 まず、同型整合性を維持する理論的保証を提供するための復号法を考案する。 次に,逆グラフニューラルネットワーク(Inv-GNN)デコーダを直感的な実現法として提案する。
  論文  参考訳（メタデータ） (2023-12-09T10:16:53Z)
• T2-GNN: Graph Neural Networks for Graphs with Incomplete Features and Structure via Teacher-Student Distillation [65.43245616105052]
  グラフニューラルネットワーク(GNN)は,様々な解析タスクをグラフデータ上で処理する手法として普及している。 本稿では,教師による蒸留に基づく一般GNNフレームワークを提案し,不完全グラフ上でのGNNの性能向上を図る。
  論文  参考訳（メタデータ） (2022-12-24T13:49:44Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Graph Neural Network with Curriculum Learning for Imbalanced Node Classification [21.085314408929058]
  グラフニューラルネットワーク(GNN)は,ノード分類などのグラフベースの学習タスクの新興技術である。 本研究では,ノードラベルの不均衡に対するGNNの脆弱性を明らかにする。 本稿では,2つのモジュールからなるカリキュラム学習(GNN-CL)を備えたグラフニューラルネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-05T10:46:11Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。