論文の概要: Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation from GNNs to MLPs

• arxiv url: http://arxiv.org/abs/2303.13763v3
• Date: Sun, 08 Dec 2024 13:09:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:50:45.348054
• Title: Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation from GNNs to MLPs
• Title（参考訳）: エッジフリーだが構造対応:GNNからMPPへのプロトタイプガイド付き知識蒸留
• Authors: Taiqiang Wu, Zhe Zhao, Jiahao Wang, Xingyu Bai, Lei Wang, Ngai Wong, Yujiu Yang,
• Abstract要約: グラフエッジ(エッジフリー設定)を必要としないが構造認識を学習するプロトタイプガイド型知識蒸留(PGKD)を提案する。 具体的には、まず、グラフニューラルネットワーク(GNN)におけるグラフ構造の影響を分析するために、クラスプロトタイプを使用します。 次に、そのような情報をGNNからベンチマークに抽出するために2つの損失を設計する。
• 参考スコア（独自算出の注目度）: 39.78378636099604
• License:
• Abstract: Distilling high-accuracy Graph Neural Networks (GNNs) to low-latency multilayer perceptions (MLPs) on graph tasks has become a hot research topic. However, conventional MLP learning relies almost exclusively on graph nodes and fails to effectively capture the graph structural information. Previous methods address this issue by processing graph edges into extra inputs for MLPs, but such graph structures may be unavailable for various scenarios. To this end, we propose Prototype-Guided Knowledge Distillation (PGKD), which does not require graph edges (edge-free setting) yet learns structure-aware MLPs. Our insight is to distill graph structural information from GNNs. Specifically, we first employ the class prototypes to analyze the impact of graph structures on GNN teachers, and then design two losses to distill such information from GNNs to MLPs. Experimental results on popular graph benchmarks demonstrate the effectiveness and robustness of the proposed PGKD.
• Abstract（参考訳）: グラフタスク上での低遅延多層認識(MLP)に高精度グラフニューラルネットワーク(GNN)を蒸留することは、ホットな研究トピックとなっている。 しかし、従来のMLP学習はグラフノードにのみ依存しており、グラフ構造情報を効果的に取得することができない。 従来の手法では、グラフエッジをMLPの余分な入力に処理することでこの問題に対処するが、このようなグラフ構造は様々なシナリオでは利用できない。 そこで本研究では,グラフエッジ(エッジフリー設定)を必要とせず,構造を意識したMLPを学習するプロトタイプガイド型知識蒸留(PGKD)を提案する。 我々の洞察は、グラフ構造情報をGNNから抽出することである。 具体的には、まず、GNN教師に対するグラフ構造の影響を分析するためにクラスプロトタイプを使用し、次に2つの損失を設計して、GNNからMPPへの情報を抽出する。 一般的なグラフベンチマーク実験の結果,提案したPGKDの有効性とロバスト性を示した。

関連論文リスト

• SimMLP: Training MLPs on Graphs without Supervision [38.63554842214315]
  グラフ学習のための自己教師型フレームワークであるSimMLPを紹介する。 SimMLPは、最適の場合において、GNNと等価性を達成できる最初の学習方法である。 我々は、相互情報と帰納バイアスに基づいて、SimMLPとGNNの等価性を示す包括的な理論的分析を行う。
  論文  参考訳（メタデータ） (2024-02-14T03:16:13Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP [46.52398427166938]
  予測加速の1つの有望な方向は、GNNをメッセージパスなしの学生多層パーセプトロンに蒸留することである。 本稿では,構造化情報のための学習能力を高めるための構造混合知識戦略を提案する。 我々のSA-MLPは、より高速な推論支援を維持しながら、教師のGNNを一貫して上回ります。
  論文  参考訳（メタデータ） (2022-10-18T05:55:36Z)
• NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
  グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。 本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
  論文  参考訳（メタデータ） (2022-08-22T01:47:07Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Graph-MLP: Node Classification without Message Passing in Graph [28.604893350871777]
  グラフニューラルネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 最近の研究は主に強力なメッセージパッシングモジュールに焦点を当てているが、この記事では、メッセージパッシングモジュールは必要ないことを示す。 本稿では,グラフ構造を利用した教師信号を用いた,純粋な多層パーセプトロンベースのGraph-MLPを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:07:21Z)
• On Graph Neural Networks versus Graph-Augmented MLPs [51.23890789522705]
  Graph-Augmented Multi-Layer Perceptrons (GA-MLPs)は、まずグラフ上の特定のマルチホップ演算子でノード機能を拡張する。 我々は,GA-MLPとGNNの表現力の分離を証明し,指数関数的に成長することを示す。
  論文  参考訳（メタデータ） (2020-10-28T17:59:59Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。