論文の概要: Can Graph Reordering Speed Up Graph Neural Network Training? An Experimental Study

• arxiv url: http://arxiv.org/abs/2409.11129v1
• Date: Tue, 17 Sep 2024 12:28:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 16:55:21.951004
• Title: Can Graph Reordering Speed Up Graph Neural Network Training? An Experimental Study
• Title（参考訳）: グラフリオーダによるグラフニューラルネットワークトレーニングの高速化 : 実験的検討
• Authors: Nikolai Merkel, Pierre Toussing, Ruben Mayer, Hans-Arno Jacobsen,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習することができる。 グラフのばらつきは、最適以下のメモリアクセスパターンと長いトレーニング時間をもたらす。 グラフの並べ替えは、CPUおよびGPUベースのトレーニングのトレーニング時間を削減するのに有効であることを示す。
• 参考スコア（独自算出の注目度）: 13.354505458409957
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Graph neural networks (GNNs) are a type of neural network capable of learning on graph-structured data. However, training GNNs on large-scale graphs is challenging due to iterative aggregations of high-dimensional features from neighboring vertices within sparse graph structures combined with neural network operations. The sparsity of graphs frequently results in suboptimal memory access patterns and longer training time. Graph reordering is an optimization strategy aiming to improve the graph data layout. It has shown to be effective to speed up graph analytics workloads, but its effect on the performance of GNN training has not been investigated yet. The generalization of reordering to GNN performance is nontrivial, as multiple aspects must be considered: GNN hyper-parameters such as the number of layers, the number of hidden dimensions, and the feature size used in the GNN model, neural network operations, large intermediate vertex states, and GPU acceleration. In our work, we close this gap by performing an empirical evaluation of 12 reordering strategies in two state-of-the-art GNN systems, PyTorch Geometric and Deep Graph Library. Our results show that graph reordering is effective in reducing training time for CPU- and GPU-based training, respectively. Further, we find that GNN hyper-parameters influence the effectiveness of reordering, that reordering metrics play an important role in selecting a reordering strategy, that lightweight reordering performs better for GPU-based than for CPU-based training, and that invested reordering time can in many cases be amortized.
• Abstract（参考訳）: グラフニューラルネットワーク(Graph Neural Network, GNN)は、グラフ構造化データから学習可能なニューラルネットワークの一種である。 しかし、大規模グラフ上でのGNNのトレーニングは、スパースグラフ構造とニューラルネットワーク操作を組み合わせた近隣の頂点からの高次元特徴の反復的な集約が困難である。 グラフの間隔は、しばしば最適なメモリアクセスパターンと長いトレーニング時間をもたらす。 グラフの並べ替えは、グラフデータのレイアウトを改善するための最適化戦略である。 グラフ解析処理の高速化には有効であることが示されているが、GNNトレーニングのパフォーマンスへの影響はまだ調査されていない。 レイヤ数、隠蔽次元数、GNNモデルで使用される特徴サイズ、ニューラルネットワーク操作、大きな中間頂点状態、GPUアクセラレーションなどのGNNハイパーパラメータ。 我々の研究は、PyTorch GeometricとDeep Graph Libraryという2つの最先端GNNシステムにおいて、12の並べ替え戦略を実証的に評価することで、このギャップを埋める。 以上の結果から,CPUとGPUによるトレーニングのトレーニング時間を短縮する上で,グラフの並べ替えが有効であることが示唆された。 さらに、GNNハイパーパラメータがリオーダーの有効性に影響を与えること、リオーダー戦略の選択においてメトリクスのリオーダーが重要な役割を担っていること、CPUベースのトレーニングよりもGPUベースのライトウェイトリオーダが優れていること、そして投資されたリオーダ時間の多くが償却可能であること、などが分かる。

関連論文リスト

• Faster Inference Time for GNNs using coarsening [1.323700980948722]
  粗い手法はグラフを小さくするために使われ、計算が高速化される。 これまでの調査では、推論中にコストに対処できなかった。 本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T06:27:24Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• An Experimental Comparison of Partitioning Strategies for Distributed Graph Neural Network Training [13.354505458409957]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データから学習可能な深層学習の領域として注目されている。 本稿では,分散GNN学習におけるグラフ分割の有効性について検討する。 高品質なグラフ分割は、GNNトレーニングを高速化し、メモリ消費を減らすために非常に効果的な最適化であることがわかった。
  論文  参考訳（メタデータ） (2023-08-29T19:47:31Z)
• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Adaptive Kernel Graph Neural Network [21.863238974404474]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。 本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。 AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。 評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
  論文  参考訳（メタデータ） (2021-12-08T20:23:58Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。