論文の概要: MQ-GNN: A Multi-Queue Pipelined Architecture for Scalable and Efficient GNN Training

• arxiv url: http://arxiv.org/abs/2601.04707v1
• Date: Thu, 08 Jan 2026 08:19:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.10578
• Title: MQ-GNN: A Multi-Queue Pipelined Architecture for Scalable and Efficient GNN Training
• Title（参考訳）: MQ-GNN: スケーラブルで効率的なGNNトレーニングのためのマルチキューパイプラインアーキテクチャ
• Authors: Irfan Ullah, Young-Koo Lee,
• Abstract要約: MQ-GNNは、GNNトレーニングステージをインターリーブし、リソース利用を最適化することで、トレーニング効率を最大化するマルチキューパイプラインフレームワークである。 最大で大胆な$bm4.6のトレーニング時間、30%のGPU使用率向上を実現し、競争精度を維持している。
• 参考スコア（独自算出の注目度）: 1.9909758054222058
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph Neural Networks (GNNs) are powerful tools for learning graph-structured data, but their scalability is hindered by inefficient mini-batch generation, data transfer bottlenecks, and costly inter-GPU synchronization. Existing training frameworks fail to overlap these stages, leading to suboptimal resource utilization. This paper proposes MQ-GNN, a multi-queue pipelined framework that maximizes training efficiency by interleaving GNN training stages and optimizing resource utilization. MQ-GNN introduces Ready-to-Update Asynchronous Consistent Model (RaCoM), which enables asynchronous gradient sharing and model updates while ensuring global consistency through adaptive periodic synchronization. Additionally, it employs global neighbor sampling with caching to reduce data transfer overhead and an adaptive queue-sizing strategy to balance computation and memory efficiency. Experiments on four large-scale datasets and ten baseline models demonstrate that MQ-GNN achieves up to \boldmath $\bm{4.6\,\times}$ faster training time and 30% improved GPU utilization while maintaining competitive accuracy. These results establish MQ-GNN as a scalable and efficient solution for multi-GPU GNN training.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するための強力なツールだが、そのスケーラビリティは、非効率なミニバッチ生成、データ転送ボトルネック、GPU間同期によって妨げられている。 既存のトレーニングフレームワークは、これらのステージの重複に失敗し、リソースサブ最適利用に繋がる。 本稿では、GNNトレーニング段階をインターリーブし、リソース利用を最適化することで、トレーニング効率を最大化するマルチキューパイプラインフレームワークMQ-GNNを提案する。 MQ-GNN は Ready-to-Update Asynchronous Consistent Model (RaCoM) を導入し、非同期な勾配共有とモデル更新を可能にし、適応的な周期同期を通じてグローバルな一貫性を確保する。 さらに、データ転送オーバーヘッドを低減するためにキャッシュを備えたグローバル隣のサンプリングと、計算とメモリ効率のバランスをとるための適応的なキューサイズ戦略を採用している。 4つの大規模なデータセットと10のベースラインモデルの実験により、MQ-GNNが最大で \boldmath $\bm{4.6\,\times}$ より高速なトレーニング時間、30%のGPU使用率向上を実現し、競争精度を維持していることが示された。 これらの結果は、マルチGPU GNNトレーニングのためのスケーラブルで効率的なソリューションとしてMQ-GNNを確立する。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• MSPipe: Efficient Temporal GNN Training via Staleness-Aware Pipeline [8.889825826072512]
  メモリベースの時間グラフニューラルネットワーク(MTGNN)は、ノードメモリモジュールを使用して長期の時間依存を捕捉し保持する時間グラフニューラルネットワークのクラスである。 トレーニングパラダイム、モデルアーキテクチャ、メモリモジュールの欠如などにより、既存の静的GNNの最適化はMTGNNに直接適用できない。 モデル精度を維持しながらトレーニングスループットを最大化するMTGNNのための汎用的で効率的なフレームワークであるMSPipeを提案する。
  論文  参考訳（メタデータ） (2024-02-23T05:57:22Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Learn Locally, Correct Globally: A Distributed Algorithm for Training Graph Neural Networks [22.728439336309858]
  通信効率の良い分散GNNトレーニング手法であるtextLearn Locally, Correct Globally$ (LLCG)を提案する。 LLCGは、異なるマシン間のノード間の依存関係を無視してGNNをローカルデータでトレーニングし、その後、定期的なモデル平均化のためにローカルにトレーニングされたモデルをサーバに送信する。 我々は,GNNを訓練するための周期モデル平均化による分散手法の収束度を厳密に分析し,周期モデル平均化を適用するが,ノード間の依存性を無視することは既約残差に悩まされることを示す。
  論文  参考訳（メタデータ） (2021-11-16T03:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。