論文の概要: Graph Inference Acceleration by Learning MLPs on Graphs without
Supervision
- arxiv url: http://arxiv.org/abs/2402.08918v1
- Date: Wed, 14 Feb 2024 03:16:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 17:11:34.407385
- Title: Graph Inference Acceleration by Learning MLPs on Graphs without
Supervision
- Title(参考訳): 教師なしグラフ上でのMLP学習によるグラフ推測高速化
- Authors: Zehong Wang, Zheyuan Zhang, Chuxu Zhang, Yanfang Ye
- Abstract要約: textbftextscSimMLPは,グラフ上のtextbftextscMLPを教師なしで学習するための効果的なフレームワークである。
textscSimMLPは、特に目に見えないノードの設定において、最先端のベースラインを上回っている。
- 参考スコア(独自算出の注目度): 42.20656109231714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have demonstrated effectiveness in various graph
learning tasks, yet their reliance on message-passing constraints their
deployment in latency-sensitive applications such as financial fraud detection.
Recent works have explored distilling knowledge from GNNs to Multi-Layer
Perceptrons (MLPs) to accelerate inference. However, this task-specific
supervised distillation limits generalization to unseen nodes, which are
prevalent in latency-sensitive applications. To this end, we present
\textbf{\textsc{SimMLP}}, a \textbf{\textsc{Sim}}ple yet effective framework
for learning \textbf{\textsc{MLP}}s on graphs without supervision, to enhance
generalization. \textsc{SimMLP} employs self-supervised alignment between GNNs
and MLPs to capture the fine-grained and generalizable correlation between node
features and graph structures, and proposes two strategies to alleviate the
risk of trivial solutions. Theoretically, we comprehensively analyze
\textsc{SimMLP} to demonstrate its equivalence to GNNs in the optimal case and
its generalization capability. Empirically, \textsc{SimMLP} outperforms
state-of-the-art baselines, especially in settings with unseen nodes. In
particular, it obtains significant performance gains {\bf (7$\sim$26\%)} over
MLPs and inference acceleration over GNNs {\bf (90$\sim$126$\times$)} on
large-scale graph datasets. Our codes are available at:
\url{https://github.com/Zehong-Wang/SimMLP}.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、さまざまなグラフ学習タスクにおいて有効性を示しているが、メッセージパッシングに依存しているため、金融詐欺検出などの遅延に敏感なアプリケーションへの展開が制限されている。
近年の研究では、GNNからMLP(Multi-Layer Perceptrons)への蒸留知識を探求し、推論を加速している。
しかし、このタスク固有の教師付き蒸留は、レイテンシーに敏感なアプリケーションで一般的である未検出ノードへの一般化を制限する。
この目的のために, グラフ上の \textbf{\textsc{mlp}} を教師なしで学習するためのフレームワークである \textbf{\textsc{simmlp}}, \textbf{\textsc{sim}}ple を提案する。
textsc{SimMLP} は GNN と MLP の自己教師付きアライメントを用いて、ノード特徴とグラフ構造の間の微細で一般化可能な相関関係を捉え、自明な解のリスクを軽減するための2つの戦略を提案する。
理論的には、最適ケースにおけるGNNの同値性とその一般化能力を示すために、包括的解析を行う。
経験的に、‘textsc{SimMLP} は最先端のベースライン、特に目に見えないノードの設定でパフォーマンスを向上する。
特に、大規模グラフデータセット上での MLP に対する大きなパフォーマンスゲイン (7$\sim$26\%) と GNNs {\bf (90$\sim$126$\times$)} に対する推論加速度 (90$\sim$126$\times$)} を得る。
私たちのコードは、 \url{https://github.com/zehong-wang/simmlp} で利用可能です。
関連論文リスト
- VQGraph: Rethinking Graph Representation Space for Bridging GNNs and
MLPs [97.63412451659826]
VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。
VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2023-08-04T02:58:08Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP
Initialization [51.76758674012744]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。
我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
論文 参考訳(メタデータ) (2022-09-30T21:33:51Z) - From Local to Global: Spectral-Inspired Graph Neural Networks [28.858773653743075]
グラフニューラルネットワーク(GNN)は、非ユークリッドデータのための強力なディープラーニング手法である。
MPNNは、局所グラフ地区の信号を集約して結合するメッセージパッシングアルゴリズムである。
MPNNは、過密や過密といった問題に悩まされる可能性がある。
論文 参考訳(メタデータ) (2022-09-24T17:19:00Z) - NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。
既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。
本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
論文 参考訳(メタデータ) (2022-08-22T01:47:07Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳(メタデータ) (2021-10-29T19:55:12Z) - Graph-MLP: Node Classification without Message Passing in Graph [28.604893350871777]
グラフニューラルネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。
最近の研究は主に強力なメッセージパッシングモジュールに焦点を当てているが、この記事では、メッセージパッシングモジュールは必要ないことを示す。
本稿では,グラフ構造を利用した教師信号を用いた,純粋な多層パーセプトロンベースのGraph-MLPを提案する。
論文 参考訳(メタデータ) (2021-06-08T02:07:21Z) - On Graph Neural Networks versus Graph-Augmented MLPs [51.23890789522705]
Graph-Augmented Multi-Layer Perceptrons (GA-MLPs)は、まずグラフ上の特定のマルチホップ演算子でノード機能を拡張する。
我々は,GA-MLPとGNNの表現力の分離を証明し,指数関数的に成長することを示す。
論文 参考訳(メタデータ) (2020-10-28T17:59:59Z) - SAIL: Self-Augmented Graph Contrastive Learning [40.76236706250037]
本稿では,教師なしシナリオに対するグラフニューラルネットワーク(GNN)を用いたノード表現の学習について検討する。
理論的解析を導出し,グラフデータセット間の非定常なGNNの性能に関する実証実験を行う。
論文 参考訳(メタデータ) (2020-09-02T10:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。