論文の概要: LightHGNN: Distilling Hypergraph Neural Networks into MLPs for
$100\times$ Faster Inference
- arxiv url: http://arxiv.org/abs/2402.04296v1
- Date: Tue, 6 Feb 2024 14:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 18:48:22.053620
- Title: LightHGNN: Distilling Hypergraph Neural Networks into MLPs for
$100\times$ Faster Inference
- Title（参考訳）: lighthgnn: 100\times$高速推論のためにハイパーグラフニューラルネットワークをmlpに蒸留する
- Authors: Yifan Feng, Yihe Luo, Shihui Ying, Yue Gao
- Abstract要約: ハイパーグラフネットワーク(HGNN)は近年注目され,高次相関モデルにおける優位性から良好な性能を示した。
本稿では,HGNNのハイパーグラフ依存性を解消するために,HGNNと推論効率のよいMulti-Layer Perceptron(MLP)のギャップを埋めることを提案する。
- 参考スコア（独自算出の注目度）: 19.383356275847444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hypergraph Neural Networks (HGNNs) have recently attracted much attention and
exhibited satisfactory performance due to their superiority in high-order
correlation modeling. However, it is noticed that the high-order modeling
capability of hypergraph also brings increased computation complexity, which
hinders its practical industrial deployment. In practice, we find that one key
barrier to the efficient deployment of HGNNs is the high-order structural
dependencies during inference. In this paper, we propose to bridge the gap
between the HGNNs and inference-efficient Multi-Layer Perceptron (MLPs) to
eliminate the hypergraph dependency of HGNNs and thus reduce computational
complexity as well as improve inference speed. Specifically, we introduce
LightHGNN and LightHGNN$^+$ for fast inference with low complexity. LightHGNN
directly distills the knowledge from teacher HGNNs to student MLPs via soft
labels, and LightHGNN$^+$ further explicitly injects reliable high-order
correlations into the student MLPs to achieve topology-aware distillation and
resistance to over-smoothing. Experiments on eight hypergraph datasets
demonstrate that even without hypergraph dependency, the proposed LightHGNNs
can still achieve competitive or even better performance than HGNNs and
outperform vanilla MLPs by $16.3$ on average. Extensive experiments on three
graph datasets further show the average best performance of our LightHGNNs
compared with all other methods. Experiments on synthetic hypergraphs with 5.5w
vertices indicate LightHGNNs can run $100\times$ faster than HGNNs, showcasing
their ability for latency-sensitive deployments.
- Abstract（参考訳）: ハイパーグラフニューラルネットワーク(HGNN)は近年注目され,高次相関モデルにおける優位性から良好な性能を示した。
しかし、ハイパーグラフの高次モデリング能力は計算の複雑さを増大させ、実用的な産業展開を妨げることにも注目される。
実際、HGNNの効率的なデプロイにおける重要な障壁は、推論中の高次構造的依存関係である。
本稿では,HGNNのハイパーグラフ依存性を解消し,計算複雑性を低減し,推論速度の向上を図るため,HGNNと推論効率のよいMulti-Layer Perceptron(MLP)のギャップを埋めることを提案する。
具体的には、複雑性の低い高速推論のために、LightHGNNとLightHGNN$^+$を導入する。
LightHGNN は教師 HGNN から学生 MLP への知識をソフトラベルを通じて直接蒸留し、LightHGNN$^+$ は生徒 MLP に信頼性の高い高次相関関係を明示的に注入し、トポロジカルな蒸留と過度なスムースティングに対する耐性を達成する。
8つのハイパーグラフデータセットの実験では、ハイパーグラフの依存関係がなくても、提案されたLightHGNNはHGNNよりも競争力や性能が向上し、バニラMLPを平均16.3ドル上回った。
3つのグラフデータセットに関する広範な実験は、他のすべての方法と比較して、我々のlighthgnnの平均的なパフォーマンスを示している。
5.5wの頂点を持つ合成ハイパーグラフの実験は、LightHGNNがHGNNよりも100\times$で動作可能であることを示している。
関連論文リスト
- Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。
HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。
HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
論文 参考訳（メタデータ） (2024-11-21T11:39:09Z) - MAG-GNN: Reinforcement Learning Boosted Graph Neural Network [68.60884768323739]
特定の研究の行は、GNNの表現性を向上させるためにサブグラフ情報を使用するサブグラフGNNを提案し、大きな成功を収めた。
このような効果は、すべての可能な部分グラフを列挙することによって、GNNの効率を犠牲にする。
本稿では,強化学習(RL)により強化されたGNNである磁気グラフニューラルネットワーク(MAG-GNN)を提案する。
論文 参考訳（メタデータ） (2023-10-29T20:32:21Z) - Graph Ladling: Shockingly Simple Parallel GNN Training without
Intermediate Communication [100.51884192970499]
GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。
GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。
本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
論文 参考訳（メタデータ） (2023-06-18T03:33:46Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳（メタデータ） (2022-12-18T08:17:32Z) - Teaching Yourself: Graph Self-Distillation on Neighborhood for Node
Classification [42.840122801915996]
本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。
GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
論文 参考訳（メタデータ） (2022-10-05T08:35:34Z) - MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP
Initialization [51.76758674012744]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。
我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
論文 参考訳（メタデータ） (2022-09-30T21:33:51Z) - Equivariant Hypergraph Diffusion Neural Operators [81.32770440890303]
ハイパーグラフを符号化するためにニューラルネットワークを使用するハイパーグラフニューラルネットワーク(HNN)は、データの高次関係をモデル化する有望な方法を提供する。
本研究ではED-HNNと呼ばれる新しいHNNアーキテクチャを提案する。
実世界の9つのハイパーグラフデータセットのノード分類におけるED-HNNの評価を行った。
論文 参考訳（メタデータ） (2022-07-14T06:17:00Z) - Graph-less Neural Networks: Teaching Old MLPs New Tricks via
Distillation [34.676755383361005]
グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。
競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。
GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
論文 参考訳（メタデータ） (2021-10-17T05:16:58Z) - UniGNN: a Unified Framework for Graph and Hypergraph Neural Networks [8.777765815864367]
エンティティ間の高次相関をモデル化するフレキシブルな表現構造であるhypergraphは、近年様々な研究領域から注目を集めている。
グラフおよびハイパーグラフニューラルネットワークにおけるメッセージパッシングプロセスを解釈するための統一フレームワークであるUniGNNを提案する。
複数の実世界のデータセットに対するUniGNNの有効性を示す実験が行われている。
論文 参考訳（メタデータ） (2021-05-03T15:48:34Z) - Residual Enhanced Multi-Hypergraph Neural Network [26.42547421121713]
HyperGraph Neural Network (HGNN) はハイパーグラフ表現学習のためのデファクト手法である。
本稿では,各ハイパーグラフからのマルチモーダル情報を効果的に融合できるResidual enhanced Multi-Hypergraph Neural Networkを提案する。
論文 参考訳（メタデータ） (2021-05-02T14:53:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。