論文の概要: Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2504.00540v2
• Date: Wed, 02 Apr 2025 08:15:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:20:25.117515
• Title: Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの逆解析自由知識蒸留法
• Authors: Yuang Jia, Xiaojuan Shan, Jun Xia, Guancheng Wan, Yuchen Zhang, Wenke Huang, Mang Ye, Stan Z. Li,
• Abstract要約: 本稿では,グラフニューラルネットワークのための高速かつ高品質なデータフリー知識蒸留手法を提案する。 グラフフリーKD法(ACGKD)は擬似グラフの空間的複雑さを著しく低減する。 ACGKDは、生徒の次元を拡大することで、生徒と教師のモデル間の次元のあいまいさを取り除く。
• 参考スコア（独自算出の注目度）: 61.608453110751206
• License:
• Abstract: Data-free Knowledge Distillation (DFKD) is a method that constructs pseudo-samples using a generator without real data, and transfers knowledge from a teacher model to a student by enforcing the student to overcome dimensional differences and learn to mimic the teacher's outputs on these pseudo-samples. In recent years, various studies in the vision domain have made notable advancements in this area. However, the varying topological structures and non-grid nature of graph data render the methods from the vision domain ineffective. Building upon prior research into differentiable methods for graph neural networks, we propose a fast and high-quality data-free knowledge distillation approach in this paper. Without compromising distillation quality, the proposed graph-free KD method (ACGKD) significantly reduces the spatial complexity of pseudo-graphs by leveraging the Binary Concrete distribution to model the graph structure and introducing a spatial complexity tuning parameter. This approach enables efficient gradient computation for the graph structure, thereby accelerating the overall distillation process. Additionally, ACGKD eliminates the dimensional ambiguity between the student and teacher models by increasing the student's dimensions and reusing the teacher's classifier. Moreover, it equips graph knowledge distillation with a CL-based strategy to ensure the student learns graph structures progressively. Extensive experiments demonstrate that ACGKD achieves state-of-the-art performance in distilling knowledge from GNNs without training data.
• Abstract（参考訳）: データフリー知識蒸留(Data-free Knowledge Distillation、DFKD)は、実際のデータを持たないジェネレータを用いて擬似サンプルを構築し、教師モデルから学生に知識を伝達する手法である。 近年、視覚領域における様々な研究がこの領域で顕著な進歩を遂げている。 しかし、グラフデータの様々なトポロジ構造と非グリッドの性質は、視覚領域からの手法を効果的に表現しない。 本稿では,グラフニューラルネットワークの微分可能な手法に関する先行研究に基づいて,高速かつ高品質なデータフリーな知識蒸留手法を提案する。 提案したグラフフリーKD法(ACGKD)は, グラフ構造をモデル化し, 空間的複雑性チューニングパラメータを導入することにより, 擬似グラフの空間的複雑さを著しく低減する。 このアプローチにより,グラフ構造に対する効率的な勾配計算が可能となり,全蒸留プロセスが高速化される。 さらに、ACGKDは、生徒の次元を拡大し、教師の分類器を再利用することにより、生徒と教師のモデル間の寸法のあいまいさを解消する。 さらに、グラフ知識の蒸留をCLベースの戦略で行い、学生がグラフ構造を徐々に学べるようにする。 ACGKDは、訓練データなしでGNNから知識を蒸留することで、最先端の性能を達成することを実証した。

関連論文リスト

• Disentangled Generative Graph Representation Learning [51.59824683232925]
  本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。 潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。 2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-24T05:13:02Z)
• Molecular Classification Using Hyperdimensional Graph Classification [41.38562343472387]
  この研究は超次元コンピューティングを利用してグラフ学習に革新的なアプローチを導入する。 この領域における重要な応用は、様々な分子構造にまたがるがん細胞の同定である。 グラフニューラルネットワーク(GNN)やWeisfieler-Lehmanグラフカーネル(WL)のような最先端のモデルと比較して,曲線の下の面積を比較検討したHDCモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-18T23:16:17Z)
• Graph Relation Distillation for Efficient Biomedical Instance Segmentation [80.51124447333493]
  本稿では,効率的なバイオメディカル・インスタンス・セグメンテーションのためのグラフ関係蒸留手法を提案する。 画像内レベルと画像間レベルの両方に展開する2つのグラフ蒸留方式を導入する。 多くのバイオメディカルデータセットの実験結果から,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-01-12T04:41:23Z)
• Frameless Graph Knowledge Distillation [27.831929635701886]
  教師が提供したグラフ知識は,代数と幾何学の両方を通して学生モデルによって学習され,消化されるかを示す。 提案モデルでは,推論の高速化を維持しながら,教師モデルと同一あるいはそれ以上の学習精度を生成できる。
  論文  参考訳（メタデータ） (2023-07-13T08:56:50Z)
• Graph-based Knowledge Distillation: A survey and experimental evaluation [4.713436329217004]
  既存のグラフニューラルネットワーク(GNN)を強化するために知識蒸留(KD)が導入されている。 KDは、予測性能を維持しながら、大きな教師モデルのソフトレーベルの監督を小学生モデルに移行することを含む。 本稿ではまず,グラフとKDの背景について紹介し,その上で3種類の知識蒸留法について概説する。
  論文  参考訳（メタデータ） (2023-02-27T11:39:23Z)
• Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation [41.00398052556643]
  本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。 識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。 その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T00:04:43Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。