論文の概要: Reducing Memory Contention and I/O Congestion for Disk-based GNN Training

• arxiv url: http://arxiv.org/abs/2406.13984v1
• Date: Thu, 20 Jun 2024 04:24:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 17:27:03.291541
• Title: Reducing Memory Contention and I/O Congestion for Disk-based GNN Training
• Title（参考訳）: ディスクベースGNNトレーニングにおけるメモリコンテントの削減とI/Oコンゴレーション
• Authors: Qisheng Jiang, Lei Jia, Chundong Wang,
• Abstract要約: グラフニューラルネットワーク(GNN)が広く普及している。高次元特徴を持つ大規模グラフが一般的になり、その上でGNNを訓練するのは簡単ではない。 巨大なグラフが与えられた場合、トレーニングプロセス中にグラフ全体のデータをメモリに保持することは困難であるため、サンプルベースのGNNトレーニングでさえ効率的に動作できない。 したがって、メモリとI/Oはディスクベースのトレーニングに不可欠である。
• 参考スコア（独自算出の注目度）: 6.492879435794228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) gain wide popularity. Large graphs with high-dimensional features become common and training GNNs on them is non-trivial on an ordinary machine. Given a gigantic graph, even sample-based GNN training cannot work efficiently, since it is difficult to keep the graph's entire data in memory during the training process. Leveraging a solid-state drive (SSD) or other storage devices to extend the memory space has been studied in training GNNs. Memory and I/Os are hence critical for effectual disk-based training. We find that state-of-the-art (SoTA) disk-based GNN training systems severely suffer from issues like the memory contention between a graph's topological and feature data, and severe I/O congestion upon loading data from SSD for training. We accordingly develop GNNDrive. GNNDrive 1) minimizes the memory footprint with holistic buffer management across sampling and extracting, and 2) avoids I/O congestion through a strategy of asynchronous feature extraction. It also avoids costly data preparation on the critical path and makes the most of software and hardware resources. Experiments show that GNNDrive achieves superior performance. For example, when training with the Papers100M dataset and GraphSAGE model, GNNDrive is faster than SoTA PyG+, Ginex, and MariusGNN by 16.9x, 2.6x, and 2.7x, respectively.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)が広く普及している。 高次元特徴を持つ大規模グラフは一般的になり、GNNを訓練することは通常の機械では自明ではない。 巨大なグラフが与えられた場合、トレーニングプロセス中にグラフ全体のデータをメモリに保持することは困難であるため、サンプルベースのGNNトレーニングでさえ効率的に動作できない。 ソリッドステートドライブ(SSD)や他のストレージデバイスを活用してメモリ空間を拡張することが、GNNのトレーニングで研究されている。 したがって、メモリとI/Oはディスクベースのトレーニングに不可欠である。 現状技術(SoTA)ディスクベースのGNNトレーニングシステムは、グラフのトポロジと特徴データ間のメモリ競合や、トレーニング用SSDからデータを読み込む際の激しいI/O混雑といった問題に悩まされている。 そこで我々は,GNNDriveを開発した。 GNNDrive 1) サンプリング・抽出における総括バッファ管理によるメモリフットプリントの最小化, 2)非同期特徴抽出戦略により,I/Oの混雑を回避する。 また、クリティカルパスにおける費用のかかるデータ準備を回避し、ソフトウェアやハードウェアのリソースを最大限に活用する。 実験により、GNNDriveは優れた性能を発揮することが示された。 例えば、Papers100MデータセットとGraphSAGEモデルでトレーニングする場合、GNNDriveはSoTA PyG+、Ginex、MariusGNNよりも16.9x、2.6x、2.7x高速である。

関連論文リスト

• DiskGNN: Bridging I/O Efficiency and Model Accuracy for Out-of-Core GNN Training [12.945647145403438]
  グラフニューラルネットワーク(GNN)は、グラフデータに特化した機械学習モデルであり、多くのアプリケーションで広く利用されている。 DiskGNNは、モデル精度を損なうことなく、高いI/O効率と高速なトレーニングを実現する。 我々はDikGNNとGinexとMariusGNNを比較した。
  論文  参考訳（メタデータ） (2024-05-08T17:27:11Z)
• CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
  既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。 低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。 また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-02T20:55:39Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses [9.773813896475264]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なツールとして登場している。 大規模グラフ上でのGNNのトレーニングは、効率的なデータアクセスとデータ移動方法が欠如しているため、依然として大きな課題である。 大規模グラフに対するGPU指向GNNトレーニングを実現するために,GPU Initiated Direct Storage Access (GIDS) データローダを提案する。
  論文  参考訳（メタデータ） (2023-06-28T17:22:15Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Ginex: SSD-enabled Billion-scale Graph Neural Network Training on a Single Machine via Provably Optimal In-memory Caching [3.0479527348064197]
  グラフニューラルネットワーク(GNN)は、構造化データ上の様々なグラフタスクを効果的に提供する強力なツールとして注目を浴びている。 実世界のグラフのサイズが拡大を続けるにつれ、GNNトレーニングシステムはスケーラビリティの課題に直面している。 我々は,1台のマシン上で数十億のグラフデータセットを処理可能な,SSDベースの初のGNNトレーニングシステムであるGinexを提案する。
  論文  参考訳（メタデータ） (2022-08-19T04:57:18Z)
• Benchmarking GNN-Based Recommender Systems on Intel Optane Persistent Memory [9.216391057418566]
  グラフニューラルネットワーク(GNN)は、グラフ上の機械学習タスクを処理する効果的な方法として登場した。 GNNベースのリコメンデータシステム(GNNRecSys)を大規模グラフでトレーニングすると、大きなメモリフットプリントが発生する。 シングルマシンのOptaneベースのGNNRecSysトレーニングは、分散トレーニングよりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-25T06:08:24Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。