論文の概要: Linkless Link Prediction via Relational Distillation

• arxiv url: http://arxiv.org/abs/2210.05801v3
• Date: Mon, 5 Jun 2023 14:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 04:23:01.142418
• Title: Linkless Link Prediction via Relational Distillation
• Title（参考訳）: リレーショナル蒸留によるリンクレスリンク予測
• Authors: Zhichun Guo, William Shiao, Shichang Zhang, Yozen Liu, Nitesh V. Chawla, Neil Shah, Tong Zhao
• Abstract要約: グラフネットワーク(GNN)はリンク予測のタスクにおいて例外的な性能を示している。 有効性にもかかわらず、非自明な近傍データ依存性によってもたらされる高いレイテンシは、実践的なデプロイメントにおいてGNNを制限する。
• 参考スコア（独自算出の注目度）: 24.928349760334413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have shown exceptional performance in the task of link prediction. Despite their effectiveness, the high latency brought by non-trivial neighborhood data dependency limits GNNs in practical deployments. Conversely, the known efficient MLPs are much less effective than GNNs due to the lack of relational knowledge. In this work, to combine the advantages of GNNs and MLPs, we start with exploring direct knowledge distillation (KD) methods for link prediction, i.e., predicted logit-based matching and node representation-based matching. Upon observing direct KD analogs do not perform well for link prediction, we propose a relational KD framework, Linkless Link Prediction (LLP), to distill knowledge for link prediction with MLPs. Unlike simple KD methods that match independent link logits or node representations, LLP distills relational knowledge that is centered around each (anchor) node to the student MLP. Specifically, we propose rank-based matching and distribution-based matching strategies that complement each other. Extensive experiments demonstrate that LLP boosts the link prediction performance of MLPs with significant margins, and even outperforms the teacher GNNs on 7 out of 8 benchmarks. LLP also achieves a 70.68x speedup in link prediction inference compared to GNNs on the large-scale OGB dataset.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はリンク予測のタスクにおいて例外的な性能を示した。 有効性にもかかわらず、非自明な近傍データ依存性によってもたらされる高いレイテンシは、実用的なデプロイメントにおいてGNNを制限する。 逆に、既知の効率的なMLPは、リレーショナル知識の欠如により、GNNよりもはるかに効果が低い。 本稿では,GNN と MLP の利点を組み合わせるために,リンク予測のための直接知識蒸留(KD)手法,すなわち,予測ロジットベースのマッチングとノード表現ベースのマッチングについて検討する。 直接的なKDアナログがリンク予測にうまく機能しないのを観察すると、リンク予測のための知識をMLPで抽出するリレーショナルKDフレームワーク、リンクレスリンク予測(LLP)を提案する。 独立したリンクロジットやノード表現にマッチする単純なKDメソッドとは異なり、LPPは学生のMLPに対する各(アンカー)ノードを中心とした関係知識を蒸留する。 具体的には,相互補完するランクベースマッチングと分布ベースのマッチング戦略を提案する。 大規模な実験では、LPPはMLPのリンク予測性能を著しく向上させ、8ベンチマーク中7ベンチマークにおいて教師のGNNよりも優れていた。 llpはまた、大規模ogbデータセットのgnnと比較してリンク予測の70.68倍のスピードアップを達成している。

関連論文リスト

• Can GNNs Learn Link Heuristics? A Concise Review and Evaluation of Link Prediction Methods [16.428742189544955]
  本稿では,リンク予測のための各種情報学習におけるグラフニューラルネットワーク(GNN)の機能について検討する。 解析の結果,GNNは2つのノード間の共通隣接点数に関する構造情報を効果的に学習できないことがわかった。 また、トレーニング可能なノード埋め込みにより、GNNベースのリンク予測モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-11-22T03:38:20Z)
• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Mixture of Link Predictors [40.32089688353189]
  リンク予測は、グラフ内の見えない接続を予測することを目的としている。 様々なペアの測度を利用するヒューリスティック手法は、しばしばバニラグラフニューラルネットワーク(GNN)の性能に匹敵する。
  論文  参考訳（メタデータ） (2024-02-13T16:36:50Z)
• Pure Message Passing Can Estimate Common Neighbor for Link Prediction [25.044734252779975]
  CN(Common Neighbor)の近似におけるMPNNの習熟度について検討する。 本稿では,新しいリンク予測モデルであるMPLP(Message Passing Link Predictor)を紹介する。
  論文  参考訳（メタデータ） (2023-09-02T16:20:41Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification [42.840122801915996]
  本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。 GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
  論文  参考訳（メタデータ） (2022-10-05T08:35:34Z)
• MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization [51.76758674012744]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。 我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T21:33:51Z)
• Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation [34.676755383361005]
  グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
  論文  参考訳（メタデータ） (2021-10-17T05:16:58Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。