論文の概要: MuGSI: Distilling GNNs with Multi-Granularity Structural Information for Graph Classification

• arxiv url: http://arxiv.org/abs/2406.19832v1
• Date: Fri, 28 Jun 2024 11:11:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 17:00:05.731348
• Title: MuGSI: Distilling GNNs with Multi-Granularity Structural Information for Graph Classification
• Title（参考訳）: MuGSI:グラフ分類のための多粒度構造情報付きGNNの蒸留
• Authors: Tianjun Yao, Jiaqi Sun, Defu Cao, Kun Zhang, Guangyi Chen,
• Abstract要約: グラフ分類に多粒性構造情報を利用する新しいフレームワークであるMuGSIを紹介する。 さまざまなデータセットと異なる教師/学生モデルアーキテクチャにまたがる広範な実験を行います。 実験結果は, MuGSIの有効性, 有効性, 堅牢性を示した。
• 参考スコア（独自算出の注目度）: 14.406813572570245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works have introduced GNN-to-MLP knowledge distillation (KD) frameworks to combine both GNN's superior performance and MLP's fast inference speed. However, existing KD frameworks are primarily designed for node classification within single graphs, leaving their applicability to graph classification largely unexplored. Two main challenges arise when extending KD for node classification to graph classification: (1) The inherent sparsity of learning signals due to soft labels being generated at the graph level; (2) The limited expressiveness of student MLPs, especially in datasets with limited input feature spaces. To overcome these challenges, we introduce MuGSI, a novel KD framework that employs Multi-granularity Structural Information for graph classification. Specifically, we propose multi-granularity distillation loss in MuGSI to tackle the first challenge. This loss function is composed of three distinct components: graph-level distillation, subgraph-level distillation, and node-level distillation. Each component targets a specific granularity of the graph structure, ensuring a comprehensive transfer of structural knowledge from the teacher model to the student model. To tackle the second challenge, MuGSI proposes to incorporate a node feature augmentation component, thereby enhancing the expressiveness of the student MLPs and making them more capable learners. We perform extensive experiments across a variety of datasets and different teacher/student model architectures. The experiment results demonstrate the effectiveness, efficiency, and robustness of MuGSI. Codes are publicly available at: \textbf{\url{https://github.com/tianyao-aka/MuGSI}.}
• Abstract（参考訳）: 近年、GNN-to-MLPナレッジ蒸留(KD)フレームワークを導入し、GNNの優れた性能とMPPの高速推論速度を両立させている。 しかし、既存のKDフレームワークは主に単一グラフ内のノード分類用に設計されており、グラフ分類への適用性はほとんど探索されていない。 ノード分類からグラフ分類へのKDの拡張には,(1)ソフトラベルによる学習信号の空間性,(2)学生のMLPの限られた表現性,特に限られた入力特徴空間を持つデータセットにおいて,2つの課題が生じる。 これらの課題を克服するために,グラフ分類に多粒性構造情報を利用する新しいKDフレームワークであるMuGSIを紹介する。 具体的には,最初の課題に取り組むために,MuGSIにおける多粒度蒸留損失を提案する。 この損失関数は、グラフレベルの蒸留、サブグラフレベルの蒸留、ノードレベルの蒸留の3つの異なる構成要素で構成されている。 各コンポーネントはグラフ構造の特定の粒度を目標とし、教師モデルから生徒モデルへの構造的知識の包括的な移行を保証する。 2つ目の課題に対処するため、MuGSIはノード機能拡張コンポーネントを組み込むことを提案し、学生のMLPの表現性を向上し、より有能な学習者を増やす。 さまざまなデータセットと異なる教師/学生モデルアーキテクチャにまたがる広範な実験を行います。 実験結果は, MuGSIの有効性, 有効性, 堅牢性を示した。 コードは以下で公開されている。 \textbf{\url{https://github.com/tianyao-aka/MuGSI}。 ※

関連論文リスト

• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Train Your Own GNN Teacher: Graph-Aware Distillation on Textual Graphs [37.48313839125563]
  グラフのない高速推論のためのLMにグラフ構造をエンコードするグラフ認識蒸留フレームワーク(GRAD)を開発した。 従来の知識蒸留とは異なり、GRADはGNNの教師とグラフのない学生を、共有LMを介してグラフのノード上で共同で最適化する。 トランスダクティブおよびインダクティブの両方の設定における8つのノード分類ベンチマークの実験は、テキストグラフの既存の蒸留手法よりもGRADの方が優れていることを示している。
  論文  参考訳（メタデータ） (2023-04-20T22:34:20Z)
• T2-GNN: Graph Neural Networks for Graphs with Incomplete Features and Structure via Teacher-Student Distillation [65.43245616105052]
  グラフニューラルネットワーク(GNN)は,様々な解析タスクをグラフデータ上で処理する手法として普及している。 本稿では,教師による蒸留に基づく一般GNNフレームワークを提案し,不完全グラフ上でのGNNの性能向上を図る。
  論文  参考訳（メタデータ） (2022-12-24T13:49:44Z)
• PGX: A Multi-level GNN Explanation Framework Based on Separate Knowledge Distillation Processes [0.2005299372367689]
  本稿では,GNNがグラフデータにおける複数のコンポーネントのマルチモーダル学習プロセスであることを示す,多段階GNN説明フレームワークを提案する。 元の問題の複雑さは、階層構造として表される複数の部分部分に分解することで緩和される。 このフレームワークはユーザの好みに基づいて異なる結果を生成することができるため、パーソナライズされた説明も目的としている。
  論文  参考訳（メタデータ） (2022-08-05T10:14:48Z)
• Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation [41.00398052556643]
  本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。 識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。 その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T00:04:43Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Structure-Enhanced Meta-Learning For Few-Shot Graph Classification [53.54066611743269]
  本研究では,数点グラフ分類の解法のためのメトリベースメタラーニングの可能性を検討する。 SMFGINというGINの実装は、ChemblとTRIANGLESの2つのデータセットでテストされている。
  論文  参考訳（メタデータ） (2021-03-05T09:03:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。