論文の概要: Teaching Yourself:c Graph Self-Distillation on Neighborhood for Node
Classification
- arxiv url: http://arxiv.org/abs/2210.02097v1
- Date: Wed, 5 Oct 2022 08:35:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 14:37:16.386572
- Title: Teaching Yourself:c Graph Self-Distillation on Neighborhood for Node
Classification
- Title(参考訳): ノード分類のための近傍のグラフ自己蒸留を指導する
- Authors: Lirong Wu, Jun Xia, Haitao Lin, Zhangyang Gao, Zicheng Liu, Guojiang
Zhao, Stan Z. Li
- Abstract要約: 本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。
GSDNは既存のGNNよりも75X-89倍、他の推論加速度法より16X-25倍高速である。
- 参考スコア(独自算出の注目度): 42.840122801915996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have witnessed great success in handling graph-related tasks
with Graph Neural Networks (GNNs). Despite their great academic success,
Multi-Layer Perceptrons (MLPs) remain the primary workhorse for practical
industrial applications. One reason for this academic-industrial gap is the
neighborhood-fetching latency incurred by data dependency in GNNs, which make
it hard to deploy for latency-sensitive applications that require fast
inference. Conversely, without involving any feature aggregation, MLPs have no
data dependency and infer much faster than GNNs, but their performance is less
competitive. Motivated by these complementary strengths and weaknesses, we
propose a Graph Self-Distillation on Neighborhood (GSDN) framework to reduce
the gap between GNNs and MLPs. Specifically, the GSDN framework is based purely
on MLPs, where structural information is only implicitly used as prior to guide
knowledge self-distillation between the neighborhood and the target,
substituting the explicit neighborhood information propagation as in GNNs. As a
result, GSDN enjoys the benefits of graph topology-awareness in training but
has no data dependency in inference. Extensive experiments have shown that the
performance of vanilla MLPs can be greatly improved with self-distillation,
e.g., GSDN improves over stand-alone MLPs by 15.54\% on average and outperforms
the state-of-the-art GNNs on six datasets. Regarding inference speed, GSDN
infers 75X-89X faster than existing GNNs and 16X-25X faster than other
inference acceleration methods.
- Abstract(参考訳): 近年、グラフ関連タスクをグラフニューラルネットワーク(gnns)で処理することに成功した。
学術的成功にもかかわらず、マルチ層パーセプトロン (MLP) は、実用産業における主要な仕事場である。
この学術と産業のギャップの1つは、gnnのデータ依存によって発生する近隣の遅延が原因で、高速な推論を必要とするレイテンシに敏感なアプリケーションへのデプロイが困難になる。
逆に、機能集約を伴わずに、MPPはデータ依存がなく、GNNよりもはるかに高速だが、そのパフォーマンスは競争力が少ない。
これらの相補的な強みと弱みに感化されて、GNNとMPPのギャップを減らすためのグラフ自己蒸留(GSDN)フレームワークを提案する。
具体的には、GSDNフレームワークは純粋にMLPに基づいており、構造情報は、GNNのような明示的な近隣情報伝達を代用して、近隣と対象との知識自己蒸留を導くために、前もって暗黙的にのみ使用される。
結果として、gsdnはトレーニングにおけるグラフトポロジ認識の利点を享受するが、推論にはデータ依存がない。
例えば、GSDN はスタンドアローンの MLP を平均 15.54 % 改善し、6つのデータセットで最先端の GNN を上回っている。
推論速度に関して、gsdnは既存のgnnより75x-89倍速く、他の推論加速法よりも16x-25倍高速である。
関連論文リスト
- A Teacher-Free Graph Knowledge Distillation Framework with Dual
Self-Distillation [58.813991312803246]
本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。
TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
論文 参考訳(メタデータ) (2024-03-06T05:52:13Z) - VQGraph: Rethinking Graph Representation Space for Bridging GNNs and
MLPs [97.63412451659826]
VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。
VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2023-08-04T02:58:08Z) - Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and
Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework [36.160251860788314]
完全周波数GNN-to-MLP (FFG2M) 蒸留フレームワークを提案する。
我々は、GNNが学んだ知識をスペクトル領域の低周波成分と高周波成分に分解する。
既存のGNN-to-MLP蒸留における入水可能性について検討する。
論文 参考訳(メタデータ) (2023-05-18T06:57:06Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z) - MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP
Initialization [51.76758674012744]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。
我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
論文 参考訳(メタデータ) (2022-09-30T21:33:51Z) - Graph-less Neural Networks: Teaching Old MLPs New Tricks via
Distillation [34.676755383361005]
グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。
競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。
GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
論文 参考訳(メタデータ) (2021-10-17T05:16:58Z) - Optimization of Graph Neural Networks: Implicit Acceleration by Skip
Connections and More Depth [57.10183643449905]
グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。
GNNのダイナミクスを深部スキップ最適化により研究する。
本研究は,GNNの成功に対する最初の理論的支援を提供する。
論文 参考訳(メタデータ) (2021-05-10T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。