論文の概要: Diffusion-Assisted Distillation for Self-Supervised Graph Representation Learning with MLPs

• arxiv url: http://arxiv.org/abs/2510.04241v1
• Date: Sun, 05 Oct 2025 15:11:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.540125
• Title: Diffusion-Assisted Distillation for Self-Supervised Graph Representation Learning with MLPs
• Title（参考訳）: MLPを用いた自己教師付きグラフ表現学習のための拡散支援蒸留
• Authors: Seong Jin Ahn, Myoung-Ho Kim,
• Abstract要約: 大規模アプリケーションでは、グラフニューラルネットワーク(GNN)を軽量マルチ層パーセプトロン(MLP)に置き換えることへの関心が高まっている。 本稿では,自己教師付きグラフ表現学習におけるGNNとロバスト性の間の大きな容量ギャップを埋める新しい蒸留法を提案する。 提案手法では,教師のGNNの知識を学生によりよく浸透させるために,教師のアシスタントとして拡散モデルを用いている。
• 参考スコア（独自算出の注目度）: 3.595215303316357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For large-scale applications, there is growing interest in replacing Graph Neural Networks (GNNs) with lightweight Multi-Layer Perceptrons (MLPs) via knowledge distillation. However, distilling GNNs for self-supervised graph representation learning into MLPs is more challenging. This is because the performance of self-supervised learning is more related to the model's inductive bias than supervised learning. This motivates us to design a new distillation method to bridge a huge capacity gap between GNNs and MLPs in self-supervised graph representation learning. In this paper, we propose \textbf{D}iffusion-\textbf{A}ssisted \textbf{D}istillation for \textbf{S}elf-supervised \textbf{G}raph representation learning with \textbf{M}LPs (DAD-SGM). The proposed method employs a denoising diffusion model as a teacher assistant to better distill the knowledge from the teacher GNN into the student MLP. This approach enhances the generalizability and robustness of MLPs in self-supervised graph representation learning. Extensive experiments demonstrate that DAD-SGM effectively distills the knowledge of self-supervised GNNs compared to state-of-the-art GNN-to-MLP distillation methods. Our implementation is available at https://github.com/SeongJinAhn/DAD-SGM.
• Abstract（参考訳）: 大規模アプリケーションでは、知識蒸留を通じてグラフニューラルネットワーク(GNN)を軽量なマルチ層パーセプトロン(MLP)に置き換えることへの関心が高まっている。 しかし,自己教師付きグラフ表現学習のためのGNNの蒸留はより困難である。 これは、自己教師型学習のパフォーマンスが教師型学習よりもモデルの帰納的バイアスとより関連しているためである。 これにより、自己教師付きグラフ表現学習において、GNNとMPPの間に大きな容量ギャップを埋める新しい蒸留法を設計する動機付けとなる。 本稿では, \textbf{D}iffusion-\textbf{A}ssisted \textbf{D}istillation for \textbf{S}elf-supervised \textbf{G}raph representation learning with \textbf{M}LPs (DAD-SGM)を提案する。 提案手法では,教師の GNN から学生の MLP への知識の抽出を円滑に行うために,教師のアシスタントとして拡散モデルを用いた。 このアプローチは、自己教師付きグラフ表現学習におけるMLPの一般化性と堅牢性を高める。 DAD-SGMは、最先端のGNN-to-MLP蒸留法と比較して、自己監督型GNNの知識を効果的に蒸留することを示した。 実装はhttps://github.com/SeongJinAhn/DAD-SGMで公開しています。

関連論文リスト

• Heuristic Methods are Good Teachers to Distill MLPs for Graph Link Prediction [61.70012924088756]
  グラフニューラルネットワーク(GNN)の教師をMLP(Multi-Layer Perceptrons)の学生に拡張することは、強力なパフォーマンスを実現するための効果的なアプローチとして現れている。 しかし、既存の蒸留法では標準のGNNのみを使用し、リンク予測専用モデル(GNN4LP)や方法(一般的な隣人など)など代替の教師を見落としている。 本稿ではまず, GNN-to-MLP蒸留における異なる教師の影響について検討し, より強い教師は必ずしもより強い生徒を産み出すわけではないが, より弱い手法は, 訓練コストを大幅に削減して, 近GNNのパフォーマンスを教えることができることを示した。
  論文  参考訳（メタデータ） (2025-04-08T16:35:11Z)
• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation [56.912354708167534]
  グラフニューラルネットワーク(GNN)と軽量マルチ層パーセプトロン(MLP) GNNto-MLP Knowledge Distillation (KD)は、よく訓練された教師であるGNNの知識を学生に蒸留することを提案する。 本稿では,単純かつ効果的なGNN-to-MLP蒸留(HGMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-20T06:13:00Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Unveiling the Unseen Potential of Graph Learning through MLPs: Effective Graph Learners Using Propagation-Embracing MLPs [9.731314045194495]
  教師ニューラルネットワーク(GNN)による知識蒸留による学生の訓練 変換$T$と伝搬$Pi$を分離するGNNにインスパイアされた私たちは、KDプロセスを再構成して、学生が明示的に$T$と$Pi$を学習できるようにします。 本稿では,KD 以前の教師 GNN の出力を伝搬する Propagate & Distill (P&D) を提案し,逆伝播 $Pi-1$ の近似過程として解釈できる。
  論文  参考訳（メタデータ） (2023-11-20T13:39:19Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework [36.160251860788314]
  完全周波数GNN-to-MLP (FFG2M) 蒸留フレームワークを提案する。 我々は、GNNが学んだ知識をスペクトル領域の低周波成分と高周波成分に分解する。 既存のGNN-to-MLP蒸留における入水可能性について検討する。
  論文  参考訳（メタデータ） (2023-05-18T06:57:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。