論文の概要: MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization

• arxiv url: http://arxiv.org/abs/2210.00102v1
• Date: Fri, 30 Sep 2022 21:33:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 17:21:40.354114
• Title: MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization
• Title（参考訳）: MLPInit: MLP初期化によるGNNトレーニング加速の恥ずかしさ
• Authors: Xiaotian Han, Tong Zhao, Yozen Liu, Xia Hu, Neil Shah
• Abstract要約: 大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。 Init と呼ばれる GNN トレーニングアクセラレーションのための,恥ずかしいほどシンプルで,非常に効果的な手法を提案する。 InitはGNNのトレーニングを加速し(OGB製品で最大33倍のスピードアップ)、予測性能を向上する。
• 参考スコア（独自算出の注目度）: 51.76758674012744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training graph neural networks (GNNs) on large graphs is complex and extremely time consuming. This is attributed to overheads caused by sparse matrix multiplication, which are sidestepped when training multi-layer perceptrons (MLPs) with only node features. MLPs, by ignoring graph context, are simple and faster for graph data, however they usually sacrifice prediction accuracy, limiting their applications for graph data. We observe that for most message passing-based GNNs, we can trivially derive an analog MLP (we call this a PeerMLP) whose weights can be made identical, making us curious about how do GNNs using weights from a fully trained PeerMLP perform? Surprisingly, we find that GNNs initialized with such weights significantly outperform their PeerMLPs for graph data, motivating us to use PeerMLP training as a precursor, initialization step to GNN training. To this end, we propose an embarrassingly simple, yet hugely effective initialization method for GNN training acceleration, called MLPInit. Our extensive experiments on multiple large-scale graph datasets with diverse GNN architectures validate that MLPInit can accelerate the training of GNNs (up to 33X speedup on OGB-products) and often improve prediction performance (e.g., up to 7.97% improvement for GraphSAGE across 7 datasets for node classification, and up to 17.81% improvement across 4 datasets for link prediction on metric Hits@10). Most importantly, MLPInit is extremely simple to implement and can be flexibly used as a plug-and-play initialization method for message passing-based GNNs.
• Abstract（参考訳）: 大規模グラフ上でのトレーニンググラフニューラルネットワーク(gnns)は複雑で、非常に時間がかかる。 これは、マルチ層パーセプトロン(MLP)をノード機能のみでトレーニングする際にサイドステップされるスパース行列乗算によるオーバーヘッドに起因する。 グラフコンテキストを無視したmlpは、グラフデータにとってシンプルで高速であるが、予測精度を犠牲にして、グラフデータへの応用を制限する。 ほとんどのメッセージパスベースのGNNでは、重みを同一にできるアナログMLP(これをPeerMLPと呼ぶ)を自明に導き出すことができます。 驚くべきことに、そのような重み付けで初期化されたGNNは、グラフデータにおいてPeerMLPよりも大幅に優れており、GNNトレーニングの先駆的な初期化ステップとしてPeerMLPトレーニングを使用する動機となっている。 そこで本稿では,MLPInit と呼ばれる GNN トレーニングアクセラレーションの初期化手法を提案する。 さまざまなGNNアーキテクチャを持つ大規模グラフデータセットに関する大規模な実験では、MLPInitがGNNのトレーニング(OGB製品で最大33倍のスピードアップ)を加速し、予測性能(ノード分類のために7つのデータセットで最大7.97%の改善、メトリクスHits@10上のリンク予測のために4つのデータセットで最大17.81%の改善)を改善することが確認されている。 MLPInitは実装が非常にシンプルで、メッセージパッシングベースのGNNのプラグアンドプレイ初期化メソッドとして柔軟に使用できる。

関連論文リスト

• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification [42.840122801915996]
  本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。 GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
  論文  参考訳（メタデータ） (2022-10-05T08:35:34Z)
• Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation [34.676755383361005]
  グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
  論文  参考訳（メタデータ） (2021-10-17T05:16:58Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。