論文の概要: A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2610.15730v1
• Date: Sun, 11 Oct 2026 16:11:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:02:16.13564
• Title: A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks
• Title（参考訳）: 時間的グラフニューラルネットワークのための依存性を考慮したマルチGPU学習フレームワーク
• Abstract要約: 時間グラフニューラルネットワーク(TGNN)は多くの動的グラフ学習タスクにおいて優れた性能を達成する。 これらのネットワークはノード状態ベクトル(つまり記憶)を使用してグラフ変化(つまりイベント)をキャプチャし記録し、これらのメモリを利用して予測を支援する。
• 参考スコア（独自算出の注目度）: 16.79940953841084
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Temporal graph neural networks (TGNNs) achieve superior performance in many dynamic graph learning tasks. These models use node state vectors (i.e., memories) to capture and record graph changes (i.e., events), and then exploit these memories to assist prediction. However, this memory-centric design makes multi-GPU training challenging because predictions for later events often depend on memory updates from earlier events. To maintain model quality, existing multi-GPU TGNN training schemes strictly preserve all event dependencies, which limits parallelism and causes expensive cross-GPU memory synchronization. In this work, we observe that many of these dependencies can be handled more flexibly without harming training quality. Specifically, (a) dependencies in TGNN training have high locality in both time and graph topology, (b) the short-range dependencies missed within a large batch can often be recovered cheaply, and (c) many memory updates are not immediately needed. Based on these observations, we propose DepBloom to accelerate multi-GPU TGNN training with three techniques: (1) temporally bounded spatial partitioning to reduce unnecessary cross-GPU synchronization and improve parallelism; (2) intra-batch memory refinement to recover missing short-range temporal dependencies inside enlarged batches; and (3) critical-path optimization to prioritize urgent memory updates while deferring non-critical work during multi-GPU pipeline execution. Experimental results across representative models and diverse datasets show that DepBloom achieves an average speedup of 2.84$\times$ and up to 5.16$\times$ over state-of-the-art methods, while maintaining comparable or better model accuracy.
• Abstract（参考訳）: 時間グラフニューラルネットワーク(TGNN)は多くの動的グラフ学習タスクにおいて優れた性能を達成する。 これらのモデルはノード状態ベクトル(つまり記憶)を使用してグラフ変化(つまりイベント)をキャプチャし記録し、これらのメモリを利用して予測を支援する。 しかし、このメモリ中心の設計は、後のイベントの予測が以前のイベントのメモリ更新に依存することが多いため、マルチGPUトレーニングを難しくする。 モデル品質を維持するために、既存のマルチGPU TGNNトレーニングスキームは、並列性を制限し、高価なクロスGPUメモリ同期を引き起こす、すべてのイベント依存を厳密に保護する。 本研究では,これらの依存関係の多くは,トレーニング品質を損なうことなく柔軟に処理可能であることを観察する。 具体的には (a)TGNNトレーニングの依存関係は時間とグラフトポロジの両方において高い局所性を有する。 (b) 大規模なバッチで欠落した短距離依存関係は、しばしば安価に回収でき、 (c) 多くのメモリ更新はすぐには不要である。 これらの観測に基づいて,1)不必要なGPU同期を低減し,並列性を改善するための時間境界空間分割,2)拡張バッチ内の短距離時間依存性を回復するためのバッチ内メモリ改善,3)マルチGPUパイプライン実行中に非クリティカルな作業を遅延しながら、緊急メモリ更新を優先するクリティカルパス最適化,の3つの手法を用いて,マルチGPUTGNNトレーニングを高速化するDepBloomを提案する。 DepBloomは平均2.84$\times$と最大5.16$\times$を最先端の手法で達成し、同等またはより良いモデルの精度を維持している。

関連論文リスト

• FAST: A Holistic Framework for Optimizing Memory-I/O, Computation, and Sampling in Temporal GNN Training [13.505374557741169]
  時間グラフニューラルネットワーク(TGNN)は、リコメンデーション、ソーシャルネットワーク分析、トラフィック予測といったアプリケーションにおける動的グラフから学習するために広く利用されている。 我々は、サンプリング、メモリI/O、計算を共同最適化することで、エンドツーエンドのTGNNトレーニングを加速する総合的なフレームワークであるFASTを提案する。 FASTは、モデル精度を犠牲にすることなく、最先端システムの平均2.1倍(最大4.7倍)のスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-07-06T13:54:01Z)
• LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation [84.86814271505109]
  LongLive-2.0は、長いビデオ生成の完全なトレーニングと推論ワークフロー全体を通じて、NVFP4ベースの並列インフラストラクチャである。 トレーニングには,quence-parallel autoregressive (AR) トレーニングを導入する。 実験ではトレーニングで2.15倍、推論で1.84倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2026-05-18T17:57:03Z)
• Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters [5.190794062263327]
  大規模言語モデル(LLM)の訓練は、膨大な計算能力とメモリ容量の要求のために困難であることが知られている。 本稿では,実世界のクラスタを対象としたLLM自動微粒化トレーニングであるPipetteを提案する。
  論文  参考訳（メタデータ） (2024-05-28T11:59:44Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• PiPAD: Pipelined and Parallel Dynamic GNN Training on GPUs [3.3019914257038168]
  ダイナミックグラフニューラルネットワーク(DGNN)は,リンク予測やパンデミック予測など,さまざまなリアルタイムアプリケーションに広く応用されている。 DGNNは、かなりの並列計算とデータ再利用の可能性を示すが、メモリアクセスの非効率性とデータ転送オーバーヘッドに悩まされている。 我々は、GPU上でのエンドツーエンドのパフォーマンス最適化のためのトレーニングフレームワークとして、$underlinetextbfPipelined$と$underlinetextbfDGNNのPiPADを提案する。
  論文  参考訳（メタデータ） (2023-01-01T12:10:31Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• GPU-Accelerated Primal Learning for Extremely Fast Large-Scale Classification [10.66048003460524]
  ロジスティック回帰や線形サポートベクターマシン(SVM)分類などのL2正規化原始問題を解く最も効率的な方法の1つは、広く使われている信頼領域ニュートンアルゴリズムであるTRONである。 我々は、GPU最適化の法則を用いて、異なる損失と特徴表現に対するTRONトレーニング時間を劇的に短縮できることを示した。
  論文  参考訳（メタデータ） (2020-08-08T03:40:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。