論文の概要: Linkless Link Prediction via Relational Distillation

• arxiv url: http://arxiv.org/abs/2210.05801v1
• Date: Tue, 11 Oct 2022 22:00:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 15:15:06.255187
• Title: Linkless Link Prediction via Relational Distillation
• Title（参考訳）: リレーショナル蒸留によるリンクレスリンク予測
• Authors: Zhichun Guo, William Shiao, Shichang Zhang, Yozen Liu, Nitesh Chawla, Neil Shah, Tong Zhao
• Abstract要約: グラフニューラルネットワーク(GNN)はグラフデータに広く使われており、リンク予測のタスクでは例外的な性能を示している。 有効性にもかかわらず、GNNは、実践的なデプロイメントにおいて、非自明な近隣データ依存のために、しばしば高いレイテンシに悩まされる。
• 参考スコア（独自算出の注目度）: 14.327936614685534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have been widely used on graph data and have shown exceptional performance in the task of link prediction. Despite their effectiveness, GNNs often suffer from high latency due to non-trivial neighborhood data dependency in practical deployments. To address this issue, researchers have proposed methods based on knowledge distillation (KD) to transfer the knowledge from teacher GNNs to student MLPs, which are known to be efficient even with industrial scale data, and have shown promising results on node classification. Nonetheless, using KD to accelerate link prediction is still unexplored. In this work, we start with exploring two direct analogs of traditional KD for link prediction, i.e., predicted logit-based matching and node representation-based matching. Upon observing direct KD analogs do not perform well for link prediction, we propose a relational KD framework, Linkless Link Prediction (LLP). Unlike simple KD methods that match independent link logits or node representations, LLP distills relational knowledge that is centered around each (anchor) node to the student MLP. Specifically, we propose two matching strategies that complement each other: rank-based matching and distribution-based matching. Extensive experiments demonstrate that LLP boosts the link prediction performance of MLPs with significant margins, and even outperforms the teacher GNNs on 6 out of 9 benchmarks. LLP also achieves a 776.37x speedup in link prediction inference compared to GNNs on the large scale OGB-Citation2 dataset.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はグラフデータに広く使われており、リンク予測のタスクでは例外的な性能を示している。 有効性にもかかわらず、GNNは実践的なデプロイメントにおいて、非自明な近隣データ依存のため、しばしばレイテンシーに悩まされる。 この問題に対処するために,研究者は知識蒸留(kd)に基づく手法を提案し,その知識を教員gnnから学生mlpに移し,産業規模データにおいても効率的であることが判明し,ノード分類に有望な結果を得た。 にもかかわらず、リンク予測を加速するためにkdを使用することはまだ検討されていない。 本稿では,従来のkdの2つの直接アナログを探索し,リンク予測,すなわち予測ロジットに基づくマッチングとノード表現に基づくマッチングについて検討する。 直接的なKDアナログがリンク予測にうまく機能しないのを観察すると、リレーショナルKDフレームワークであるリンクレスリンク予測(LLP)を提案する。 独立したリンクロジットやノード表現にマッチする単純なKDメソッドとは異なり、LPPは学生のMLPに対する各(アンカー)ノードを中心とした関係知識を蒸留する。 具体的には、ランクベースマッチングと分布ベースマッチングの2つのマッチング戦略を提案する。 広範囲な実験により、LPPはMLPのリンク予測性能を著しく向上させ、さらに9つのベンチマークのうち6つにおいて教師のGNNよりも優れていた。 LLPはまた、大規模なOGB-Citation2データセット上のGNNと比較して、リンク予測の776.37倍の高速化を実現している。

関連論文リスト

• Can GNNs Learn Link Heuristics? A Concise Review and Evaluation of Link Prediction Methods [16.428742189544955]
  本稿では,リンク予測のための各種情報学習におけるグラフニューラルネットワーク(GNN)の機能について検討する。 解析の結果,GNNは2つのノード間の共通隣接点数に関する構造情報を効果的に学習できないことがわかった。 また、トレーニング可能なノード埋め込みにより、GNNベースのリンク予測モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-11-22T03:38:20Z)
• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Mixture of Link Predictors [40.32089688353189]
  リンク予測は、グラフ内の見えない接続を予測することを目的としている。 様々なペアの測度を利用するヒューリスティック手法は、しばしばバニラグラフニューラルネットワーク(GNN)の性能に匹敵する。
  論文  参考訳（メタデータ） (2024-02-13T16:36:50Z)
• Pure Message Passing Can Estimate Common Neighbor for Link Prediction [25.044734252779975]
  CN(Common Neighbor)の近似におけるMPNNの習熟度について検討する。 本稿では,新しいリンク予測モデルであるMPLP(Message Passing Link Predictor)を紹介する。
  論文  参考訳（メタデータ） (2023-09-02T16:20:41Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification [42.840122801915996]
  本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。 GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
  論文  参考訳（メタデータ） (2022-10-05T08:35:34Z)
• MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization [51.76758674012744]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。 我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T21:33:51Z)
• Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation [34.676755383361005]
  グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
  論文  参考訳（メタデータ） (2021-10-17T05:16:58Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。