論文の概要: Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification

• arxiv url: http://arxiv.org/abs/2210.02097v5
• Date: Sun, 4 Jun 2023 14:49:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 04:33:54.595266
• Title: Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification
• Title（参考訳）: 自分に教える:ノード分類のためのグラフ自己蒸留
• Authors: Lirong Wu, Jun Xia, Haitao Lin, Zhangyang Gao, Zicheng Liu, Guojiang Zhao, Stan Z. Li
• Abstract要約: 本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。 GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
• 参考スコア（独自算出の注目度）: 42.840122801915996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed great success in handling graph-related tasks with Graph Neural Networks (GNNs). Despite their great academic success, Multi-Layer Perceptrons (MLPs) remain the primary workhorse for practical industrial applications. One reason for this academic-industrial gap is the neighborhood-fetching latency incurred by data dependency in GNNs, which make it hard to deploy for latency-sensitive applications that require fast inference. Conversely, without involving any feature aggregation, MLPs have no data dependency and infer much faster than GNNs, but their performance is less competitive. Motivated by these complementary strengths and weaknesses, we propose a Graph Self-Distillation on Neighborhood (GSDN) framework to reduce the gap between GNNs and MLPs. Specifically, the GSDN framework is based purely on MLPs, where structural information is only implicitly used as prior to guide knowledge self-distillation between the neighborhood and the target, substituting the explicit neighborhood information propagation as in GNNs. As a result, GSDN enjoys the benefits of graph topology-awareness in training but has no data dependency in inference. Extensive experiments have shown that the performance of vanilla MLPs can be greatly improved with self-distillation, e.g., GSDN improves over stand-alone MLPs by 15.54% on average and outperforms the state-of-the-art GNNs on six datasets. Regarding inference speed, GSDN infers 75X-89X faster than existing GNNs and 16X-25X faster than other inference acceleration methods.
• Abstract（参考訳）: 近年、グラフ関連タスクをグラフニューラルネットワーク(gnns)で処理することに成功した。 学術的成功にもかかわらず、マルチ層パーセプトロン (MLP) は、実用産業における主要な仕事場である。 この学術と産業のギャップの1つは、gnnのデータ依存によって発生する近隣の遅延が原因で、高速な推論を必要とするレイテンシに敏感なアプリケーションへのデプロイが困難になる。 逆に、機能集約を伴わずに、MPPはデータ依存がなく、GNNよりもはるかに高速だが、そのパフォーマンスは競争力が少ない。 これらの相補的な強みと弱みに感化されて、GNNとMPPのギャップを減らすためのグラフ自己蒸留(GSDN)フレームワークを提案する。 具体的には、GSDNフレームワークは純粋にMLPに基づいており、構造情報は、GNNのような明示的な近隣情報伝達を代用して、近隣と対象との知識自己蒸留を導くために、前もって暗黙的にのみ使用される。 結果として、gsdnはトレーニングにおけるグラフトポロジ認識の利点を享受するが、推論にはデータ依存がない。 例えば、GSDNはスタンドアローンのMLPを平均15.54%改善し、6つのデータセットで最先端のGNNよりも性能が向上する。 推論速度に関して、gsdnは既存のgnnより75x-89倍速く、他の推論加速法よりも16x-25倍高速である。

関連論文リスト

• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation [15.505402580010104]
  GNN-to-MLPナレッジ蒸留と呼ばれる新しい手法の波が出現した。 彼らは、より効率的な学生にGNN学習の知識を移すことを目標としている。 これらの手法は、不十分なトレーニングデータと不完全なテストデータを持つ状況において課題に直面している。 本稿では,AdaBoosting GNN-to-MLPナレッジ蒸留フレームワークであるAdaGMLPを提案する。
  論文  参考訳（メタデータ） (2024-05-23T08:28:44Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation [34.676755383361005]
  グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
  論文  参考訳（メタデータ） (2021-10-17T05:16:58Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。