論文の概要: SimMLP: Training MLPs on Graphs without Supervision
- arxiv url: http://arxiv.org/abs/2402.08918v3
- Date: Fri, 06 Dec 2024 02:46:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-09 15:54:04.587661
- Title: SimMLP: Training MLPs on Graphs without Supervision
- Title（参考訳）: SimMLP: スーパービジョンなしでグラフ上でMLPをトレーニングする
- Authors: Zehong Wang, Zheyuan Zhang, Chuxu Zhang, Yanfang Ye,
- Abstract要約: グラフ学習のための自己教師型フレームワークであるSimMLPを紹介する。
SimMLPは、最適の場合において、GNNと等価性を達成できる最初の学習方法である。
我々は、相互情報と帰納バイアスに基づいて、SimMLPとGNNの等価性を示す包括的な理論的分析を行う。
- 参考スコア（独自算出の注目度）: 38.63554842214315
- License:
- Abstract: Graph Neural Networks (GNNs) have demonstrated their effectiveness in various graph learning tasks, yet their reliance on neighborhood aggregation during inference poses challenges for deployment in latency-sensitive applications, such as real-time financial fraud detection. To address this limitation, recent studies have proposed distilling knowledge from teacher GNNs into student Multi-Layer Perceptrons (MLPs) trained on node content, aiming to accelerate inference. However, these approaches often inadequately explore structural information when inferring unseen nodes. To this end, we introduce SimMLP, a Self-supervised framework for learning MLPs on graphs, designed to fully integrate rich structural information into MLPs. Notably, SimMLP is the first MLP-learning method that can achieve equivalence to GNNs in the optimal case. The key idea is to employ self-supervised learning to align the representations encoded by graph context-aware GNNs and neighborhood dependency-free MLPs, thereby fully integrating the structural information into MLPs. We provide a comprehensive theoretical analysis, demonstrating the equivalence between SimMLP and GNNs based on mutual information and inductive bias, highlighting SimMLP's advanced structural learning capabilities. Additionally, we conduct extensive experiments on 20 benchmark datasets, covering node classification, link prediction, and graph classification, to showcase SimMLP's superiority over state-of-the-art baselines, particularly in scenarios involving unseen nodes (e.g., inductive and cold-start node classification) where structural insights are crucial. Our codes are available at: https://github.com/Zehong-Wang/SimMLP.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、さまざまなグラフ学習タスクにおいて、その効果を実証している。しかし、推論中の近隣の集約への依存は、リアルタイムの金融不正検出など、遅延に敏感なアプリケーションへのデプロイに課題をもたらす。
この制限に対処するため、近年の研究では、教師のGNNからノード内容に基づいて訓練された学生のマルチ層パーセプトロン(MLP)への知識の蒸留を提案しており、推論を加速することを目指している。
しかし、これらのアプローチは、しばしば目に見えないノードを推測する際に構造情報を不十分に探索する。
この目的のために,グラフ上でMLPを学習するための自己教師型フレームワークであるSimMLPを紹介した。
特に、SimMLPは、最適の場合においてGNNと等価性を達成できる最初のMLP学習法である。
鍵となる考え方は、自己教師付き学習を用いて、グラフコンテキストを意識したGNNと近傍の依存性のないMLPによって符号化された表現を調整し、構造情報をMLPに完全に統合することである。
我々は,SimMLPとGNNの相互情報と帰納バイアスに基づく同値性を示す総合的な理論的解析を行い,SimMLPの高度な構造学習能力を強調した。
さらに、ノード分類、リンク予測、グラフ分類を含む20のベンチマークデータセットに関する広範な実験を行い、特に構造的な洞察が不可欠である未確認ノード(インダクティブおよびコールドスタートノード分類)を含むシナリオにおいて、SimMLPが最先端のベースラインよりも優れていることを示す。
私たちのコードは、https://github.com/Zehong-Wang/SimMLP.comで利用可能です。
関連論文リスト
- AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation [15.505402580010104]
GNN-to-MLPナレッジ蒸留と呼ばれる新しい手法の波が出現した。
彼らは、より効率的な学生にGNN学習の知識を移すことを目標としている。
これらの手法は、不十分なトレーニングデータと不完全なテストデータを持つ状況において課題に直面している。
本稿では,AdaBoosting GNN-to-MLPナレッジ蒸留フレームワークであるAdaGMLPを提案する。
論文 参考訳（メタデータ） (2024-05-23T08:28:44Z) - VQGraph: Rethinking Graph Representation Space for Bridging GNNs and
MLPs [97.63412451659826]
VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。
VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2023-08-04T02:58:08Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳（メタデータ） (2022-12-18T08:17:32Z) - SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP [46.52398427166938]
予測加速の1つの有望な方向は、GNNをメッセージパスなしの学生多層パーセプトロンに蒸留することである。
本稿では,構造化情報のための学習能力を高めるための構造混合知識戦略を提案する。
我々のSA-MLPは、より高速な推論支援を維持しながら、教師のGNNを一貫して上回ります。
論文 参考訳（メタデータ） (2022-10-18T05:55:36Z) - MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP
Initialization [51.76758674012744]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。
我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
論文 参考訳（メタデータ） (2022-09-30T21:33:51Z) - NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。
既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。
本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
論文 参考訳（メタデータ） (2022-08-22T01:47:07Z) - Graph-MLP: Node Classification without Message Passing in Graph [28.604893350871777]
グラフニューラルネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。
最近の研究は主に強力なメッセージパッシングモジュールに焦点を当てているが、この記事では、メッセージパッシングモジュールは必要ないことを示す。
本稿では,グラフ構造を利用した教師信号を用いた,純粋な多層パーセプトロンベースのGraph-MLPを提案する。
論文 参考訳（メタデータ） (2021-06-08T02:07:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。