論文の概要: MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization

• arxiv url: http://arxiv.org/abs/2210.00102v3
• Date: Sat, 8 Apr 2023 05:54:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 23:25:37.410759
• Title: MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization
• Title（参考訳）: MLPInit: MLP初期化によるGNNトレーニング加速の恥ずかしさ
• Authors: Xiaotian Han, Tong Zhao, Yozen Liu, Xia Hu, Neil Shah
• Abstract要約: 大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。 我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
• 参考スコア（独自算出の注目度）: 51.76758674012744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training graph neural networks (GNNs) on large graphs is complex and extremely time consuming. This is attributed to overheads caused by sparse matrix multiplication, which are sidestepped when training multi-layer perceptrons (MLPs) with only node features. MLPs, by ignoring graph context, are simple and faster for graph data, however they usually sacrifice prediction accuracy, limiting their applications for graph data. We observe that for most message passing-based GNNs, we can trivially derive an analog MLP (we call this a PeerMLP) with an equivalent weight space, by setting the trainable parameters with the same shapes, making us curious about \textbf{\emph{how do GNNs using weights from a fully trained PeerMLP perform?}} Surprisingly, we find that GNNs initialized with such weights significantly outperform their PeerMLPs, motivating us to use PeerMLP training as a precursor, initialization step to GNN training. To this end, we propose an embarrassingly simple, yet hugely effective initialization method for GNN training acceleration, called MLPInit. Our extensive experiments on multiple large-scale graph datasets with diverse GNN architectures validate that MLPInit can accelerate the training of GNNs (up to 33X speedup on OGB-Products) and often improve prediction performance (e.g., up to $7.97\%$ improvement for GraphSAGE across $7$ datasets for node classification, and up to $17.81\%$ improvement across $4$ datasets for link prediction on metric Hits@10). The code is available at \href{https://github.com/snap-research/MLPInit-for-GNNs}.
• Abstract（参考訳）: 大規模グラフ上でのトレーニンググラフニューラルネットワーク(gnns)は複雑で、非常に時間がかかる。 これは、マルチ層パーセプトロン(MLP)をノード機能のみでトレーニングする際にサイドステップされるスパース行列乗算によるオーバーヘッドに起因する。 グラフコンテキストを無視したmlpは、グラフデータにとってシンプルで高速であるが、予測精度を犠牲にして、グラフデータへの応用を制限する。 ほとんどのメッセージパスベースのGNNでは、トレーニング可能なパラメータを同じ形状に設定し、完全にトレーニングされたPeerMLPの重みを使った‘textbf{\emph{how do GNNs’に興味をそそられるようにすることで、アナログMLPに等価な重み空間を持たせることができます。 尚、これらの重量で初期化したGNNはPeerMLPよりも優れており、PierMLPトレーニングをGNNトレーニングの先駆的な初期化ステップとして使う動機がある。 そこで本稿では,MLPInit と呼ばれる GNN トレーニングアクセラレーションの初期化手法を提案する。 さまざまなGNNアーキテクチャを備えた大規模グラフデータセットに関する大規模な実験では、MLPInitがGNNのトレーニング(OGB-Productsの最大33倍のスピードアップ)を加速し、予測性能(例えば、ノード分類用のデータセット7ドルに対してGraphSAGEを最大7.97～%、メトリクスのリンク予測のためのデータセット4ドルに対して最大17.81～%)を改善することができることを実証しています。 コードは \href{https://github.com/snap-research/MLPInit-for-GNNs} で公開されている。

関連論文リスト

• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification [42.840122801915996]
  本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。 GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
  論文  参考訳（メタデータ） (2022-10-05T08:35:34Z)
• Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation [34.676755383361005]
  グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
  論文  参考訳（メタデータ） (2021-10-17T05:16:58Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。