論文の概要: InfGraND: An Influence-Guided GNN-to-MLP Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2601.08033v1
• Date: Mon, 12 Jan 2026 22:03:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:18.964584
• Title: InfGraND: An Influence-Guided GNN-to-MLP Knowledge Distillation
• Title（参考訳）: InfGraND: 影響誘導型GNN-to-MLP知識蒸留
• Authors: Amir Eskandari, Aman Anand, Elyas Rashno, Farhana Zulkernine,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフデータ分析のためのモデルである。 GNN教師から学生への知識蒸留(KD)がこのギャップを埋めるために現れた。 InferGraNDは、蒸留過程を導くために構造に影響を及ぼすノードを特定し、優先順位付けする。 InferGraNDは1回のマルチホップ近傍特徴計算による推論に構造的認識を組み込む。
• 参考スコア（独自算出の注目度）: 0.49259062564301753
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph Neural Networks (GNNs) are the go-to model for graph data analysis. However, GNNs rely on two key operations - aggregation and update, which can pose challenges for low-latency inference tasks or resource-constrained scenarios. Simple Multi-Layer Perceptrons (MLPs) offer a computationally efficient alternative. Yet, training an MLP in a supervised setting often leads to suboptimal performance. Knowledge Distillation (KD) from a GNN teacher to an MLP student has emerged to bridge this gap. However, most KD methods either transfer knowledge uniformly across all nodes or rely on graph-agnostic indicators such as prediction uncertainty. We argue this overlooks a more fundamental, graph-centric inquiry: "How important is a node to the structure of the graph?" We introduce a framework, InfGraND, an Influence-guided Graph KNowledge Distillation from GNN to MLP that addresses this by identifying and prioritizing structurally influential nodes to guide the distillation process, ensuring that the MLP learns from the most critical parts of the graph. Additionally, InfGraND embeds structural awareness in MLPs through one-time multi-hop neighborhood feature pre-computation, which enriches the student MLP's input and thus avoids inference-time overhead. Our rigorous evaluation in transductive and inductive settings across seven homophilic graph benchmark datasets shows InfGraND consistently outperforms prior GNN to MLP KD methods, demonstrating its practicality for numerous latency-critical applications in real-world settings.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフデータ分析のためのモデルである。 しかし、GNNはアグリゲーションとアップデートという2つの重要な操作に依存している。 Simple Multi-Layer Perceptrons (MLP) は計算効率の良い代替手段を提供する。 しかし、教師付き環境でのMDPのトレーニングは、しばしば最適以下のパフォーマンスをもたらす。 GNN教師からMLP学生への知識蒸留(KD)がこのギャップを埋めるために現れた。 しかしながら、ほとんどのKD手法は知識を全てのノードに均一に伝達するか、予測の不確実性のようなグラフに依存しない指標に依存する。 グラフの構造に対するノードがどれほど重要か? 本稿では,GNN から MLP への影響誘導型グラフ KNowledge Distillation である InfGraND について紹介する。 さらに、InfGraNDは1回のマルチホップ近傍機能プリ計算を通じてMLPに構造的認識を組み込むことで、学生のMLPの入力を豊かにし、推論時のオーバーヘッドを回避する。 InfGraND は GNN 以前の MLP KD 法よりも常に優れており,実環境における多くの遅延クリティカルなアプリケーションに対する実用性を示している。

関連論文リスト

• Training MLPs on Graphs without Supervision [38.63554842214315]
  グラフ学習のための自己教師型フレームワークであるSimMLPを紹介する。 SimMLPは、最適の場合において、GNNと等価性を達成できる最初の学習方法である。 我々は、相互情報と帰納バイアスに基づいて、SimMLPとGNNの等価性を示す包括的な理論的分析を行う。
  論文  参考訳（メタデータ） (2024-12-05T04:20:54Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation from GNNs to MLPs [39.78378636099604]
  グラフエッジ(エッジフリー設定)を必要としないが構造認識を学習するプロトタイプガイド型知識蒸留(PGKD)を提案する。 具体的には、まず、グラフニューラルネットワーク(GNN)におけるグラフ構造の影響を分析するために、クラスプロトタイプを使用します。 次に、そのような情報をGNNからベンチマークに抽出するために2つの損失を設計する。
  論文  参考訳（メタデータ） (2023-03-24T02:28:55Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
  グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。 本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
  論文  参考訳（メタデータ） (2022-08-22T01:47:07Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。