論文の概要: Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference

• arxiv url: http://arxiv.org/abs/2411.14035v1
• Date: Thu, 21 Nov 2024 11:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:18:32.239851
• Title: Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference
• Title（参考訳）: 不均質なグラフ構造を持つ知識を習得するためのMDPの指導 : 効率的かつ正確な推論
• Authors: Yunhui Liu, Xinyi Gao, Tieke He, Jianhua Zhao, Hongzhi Yin,
• Abstract要約: 我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
• 参考スコア（独自算出の注目度）: 53.38082028252104
• License:
• Abstract: Heterogeneous Graph Neural Networks (HGNNs) have achieved promising results in various heterogeneous graph learning tasks, owing to their superiority in capturing the intricate relationships and diverse relational semantics inherent in heterogeneous graph structures. However, the neighborhood-fetching latency incurred by structure dependency in HGNNs makes it challenging to deploy for latency-constrained applications that require fast inference. Inspired by recent GNN-to-MLP knowledge distillation frameworks, we introduce HG2M and HG2M+ to combine both HGNN's superior performance and MLP's efficient inference. HG2M directly trains student MLPs with node features as input and soft labels from teacher HGNNs as targets, and HG2M+ further distills reliable and heterogeneous semantic knowledge into student MLPs through reliable node distillation and reliable meta-path distillation. Experiments conducted on six heterogeneous graph datasets show that despite lacking structural dependencies, HG2Ms can still achieve competitive or even better performance than HGNNs and significantly outperform vanilla MLPs. Moreover, HG2Ms demonstrate a 379.24$\times$ speedup in inference over HGNNs on the large-scale IGB-3M-19 dataset, showcasing their ability for latency-sensitive deployments.
• Abstract（参考訳）: ヘテロジニアスグラフニューラルネットワーク(HGNN)は、不均一グラフ構造に固有の複雑な関係や多種多元関係のセマンティクスを捉える上で優位性から、様々な異種グラフ学習タスクにおいて有望な結果を達成している。 しかし、HGNNの構造依存性によって生じる近傍のフェッチングレイテンシは、高速な推論を必要とするレイテンシ制約のあるアプリケーションへのデプロイを困難にしている。 近年のGNN-to-MLP知識蒸留フレームワークにインスパイアされたHG2MとHG2M+を導入し,HGNNの優れた性能とMLPの効率的な推論を両立させた。 HG2Mは、教師のHGNNの入力やソフトラベルをターゲットとして、生徒のMLPを直接訓練し、HG2M+は信頼性の高いノード蒸留と信頼性の高いメタパス蒸留を通じて、学生のMLPに信頼性と不均一なセマンティック知識を蒸留する。 6つのヘテロジニアスグラフデータセットで実施された実験によると、構造的依存関係が欠如しているにもかかわらず、HG2MsはHGNNsよりも競争力や性能が向上し、バニラMPPよりも大幅に優れていた。 さらに、HG2Mは大規模IGB-3M-19データセット上でのHGNNよりも379.24$\times$の速度アップを示し、レイテンシに敏感なデプロイメント能力を示している。

関連論文リスト

• Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation [56.912354708167534]
  グラフニューラルネットワーク(GNN)と軽量マルチ層パーセプトロン(MLP) GNNto-MLP Knowledge Distillation (KD)は、よく訓練された教師であるGNNの知識を学生に蒸留することを提案する。 本稿では,単純かつ効果的なGNN-to-MLP蒸留(HGMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-20T06:13:00Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• LightHGNN: Distilling Hypergraph Neural Networks into MLPs for $100\times$ Faster Inference [19.383356275847444]
  ハイパーグラフネットワーク(HGNN)は近年注目され,高次相関モデルにおける優位性から良好な性能を示した。 本稿では,HGNNのハイパーグラフ依存性を解消するために,HGNNと推論効率のよいMulti-Layer Perceptron(MLP)のギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-02-06T14:40:26Z)
• Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework [36.160251860788314]
  完全周波数GNN-to-MLP (FFG2M) 蒸留フレームワークを提案する。 我々は、GNNが学んだ知識をスペクトル領域の低周波成分と高周波成分に分解する。 既存のGNN-to-MLP蒸留における入水可能性について検討する。
  論文  参考訳（メタデータ） (2023-05-18T06:57:06Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification [42.840122801915996]
  本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。 GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
  論文  参考訳（メタデータ） (2022-10-05T08:35:34Z)
• NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
  グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。 本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
  論文  参考訳（メタデータ） (2022-08-22T01:47:07Z)
• Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with Heterophily [58.76759997223951]
  我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。 また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:26:43Z)
• On Graph Neural Networks versus Graph-Augmented MLPs [51.23890789522705]
  Graph-Augmented Multi-Layer Perceptrons (GA-MLPs)は、まずグラフ上の特定のマルチホップ演算子でノード機能を拡張する。 我々は,GA-MLPとGNNの表現力の分離を証明し,指数関数的に成長することを示す。
  論文  参考訳（メタデータ） (2020-10-28T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。