論文の概要: Graph Inference Acceleration by Learning MLPs on Graphs without Supervision

• arxiv url: http://arxiv.org/abs/2402.08918v1
• Date: Wed, 14 Feb 2024 03:16:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 17:11:34.407385
• Title: Graph Inference Acceleration by Learning MLPs on Graphs without Supervision
• Title（参考訳）: 教師なしグラフ上でのMLP学習によるグラフ推測高速化
• Authors: Zehong Wang, Zheyuan Zhang, Chuxu Zhang, Yanfang Ye
• Abstract要約: textbftextscSimMLPは,グラフ上のtextbftextscMLPを教師なしで学習するための効果的なフレームワークである。 textscSimMLPは、特に目に見えないノードの設定において、最先端のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 42.20656109231714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have demonstrated effectiveness in various graph learning tasks, yet their reliance on message-passing constraints their deployment in latency-sensitive applications such as financial fraud detection. Recent works have explored distilling knowledge from GNNs to Multi-Layer Perceptrons (MLPs) to accelerate inference. However, this task-specific supervised distillation limits generalization to unseen nodes, which are prevalent in latency-sensitive applications. To this end, we present \textbf{\textsc{SimMLP}}, a \textbf{\textsc{Sim}}ple yet effective framework for learning \textbf{\textsc{MLP}}s on graphs without supervision, to enhance generalization. \textsc{SimMLP} employs self-supervised alignment between GNNs and MLPs to capture the fine-grained and generalizable correlation between node features and graph structures, and proposes two strategies to alleviate the risk of trivial solutions. Theoretically, we comprehensively analyze \textsc{SimMLP} to demonstrate its equivalence to GNNs in the optimal case and its generalization capability. Empirically, \textsc{SimMLP} outperforms state-of-the-art baselines, especially in settings with unseen nodes. In particular, it obtains significant performance gains {\bf (7$\sim$26\%)} over MLPs and inference acceleration over GNNs {\bf (90$\sim$126$\times$)} on large-scale graph datasets. Our codes are available at: \url{https://github.com/Zehong-Wang/SimMLP}.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、さまざまなグラフ学習タスクにおいて有効性を示しているが、メッセージパッシングに依存しているため、金融詐欺検出などの遅延に敏感なアプリケーションへの展開が制限されている。 近年の研究では、GNNからMLP(Multi-Layer Perceptrons)への蒸留知識を探求し、推論を加速している。 しかし、このタスク固有の教師付き蒸留は、レイテンシーに敏感なアプリケーションで一般的である未検出ノードへの一般化を制限する。 この目的のために, グラフ上の \textbf{\textsc{mlp}} を教師なしで学習するためのフレームワークである \textbf{\textsc{simmlp}}, \textbf{\textsc{sim}}ple を提案する。 textsc{SimMLP} は GNN と MLP の自己教師付きアライメントを用いて、ノード特徴とグラフ構造の間の微細で一般化可能な相関関係を捉え、自明な解のリスクを軽減するための2つの戦略を提案する。 理論的には、最適ケースにおけるGNNの同値性とその一般化能力を示すために、包括的解析を行う。 経験的に、‘textsc{SimMLP} は最先端のベースライン、特に目に見えないノードの設定でパフォーマンスを向上する。 特に、大規模グラフデータセット上での MLP に対する大きなパフォーマンスゲイン (7$\sim$26\%) と GNNs {\bf (90$\sim$126$\times$)} に対する推論加速度 (90$\sim$126$\times$)} を得る。 私たちのコードは、 \url{https://github.com/zehong-wang/simmlp} で利用可能です。

関連論文リスト

• AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation [15.505402580010104]
  GNN-to-MLPナレッジ蒸留と呼ばれる新しい手法の波が出現した。 彼らは、より効率的な学生にGNN学習の知識を移すことを目標としている。 これらの手法は、不十分なトレーニングデータと不完全なテストデータを持つ状況において課題に直面している。 本稿では,AdaBoosting GNN-to-MLPナレッジ蒸留フレームワークであるAdaGMLPを提案する。
  論文  参考訳（メタデータ） (2024-05-23T08:28:44Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP [46.52398427166938]
  予測加速の1つの有望な方向は、GNNをメッセージパスなしの学生多層パーセプトロンに蒸留することである。 本稿では,構造化情報のための学習能力を高めるための構造混合知識戦略を提案する。 我々のSA-MLPは、より高速な推論支援を維持しながら、教師のGNNを一貫して上回ります。
  論文  参考訳（メタデータ） (2022-10-18T05:55:36Z)
• MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization [51.76758674012744]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。 我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T21:33:51Z)
• NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
  グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。 本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
  論文  参考訳（メタデータ） (2022-08-22T01:47:07Z)
• Graph-MLP: Node Classification without Message Passing in Graph [28.604893350871777]
  グラフニューラルネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 最近の研究は主に強力なメッセージパッシングモジュールに焦点を当てているが、この記事では、メッセージパッシングモジュールは必要ないことを示す。 本稿では,グラフ構造を利用した教師信号を用いた,純粋な多層パーセプトロンベースのGraph-MLPを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。