Fugu-MT 論文翻訳(概要): PGT-I: Scaling Spatiotemporal GNNs with Memory-Efficient Distributed Training

論文の概要: PGT-I: Scaling Spatiotemporal GNNs with Memory-Efficient Distributed Training

arxiv url: http://arxiv.org/abs/2507.11683v1
Date: Tue, 15 Jul 2025 19:38:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-17 19:00:11.123744
Title: PGT-I: Scaling Spatiotemporal GNNs with Memory-Efficient Distributed Training
Title（参考訳）: PGT-I: メモリ効率の良い分散トレーニングによる時空間GNNのスケーリング
Authors: Seth Ockerman, Amal Gueroudji, Tanwi Mallick, Yixuan He, Line Pouchard, Robert Ross, Shivaram Venkataraman,
Abstract要約: 我々は、PyTorch Geometric Temporaltemporal Network(STG-NN)の拡張である、PyTorch Temporal Geometric Index Index(GTP-I)を提案する。 GTP-Iは分散データ並列トレーニングとインデックスバッチと分散インデックスバッチという2つの戦略を統合している。本手法により,グラフを使わずに,PeMSデータセット全体のSTG-NNを初めてトレーニングすることが可能となる。
参考スコア（独自算出の注目度）: 5.495404608974733
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Spatiotemporal graph neural networks (ST-GNNs) are powerful tools for modeling spatial and temporal data dependencies. However, their applications have been limited primarily to small-scale datasets because of memory constraints. While distributed training offers a solution, current frameworks lack support for spatiotemporal models and overlook the properties of spatiotemporal data. Informed by a scaling study on a large-scale workload, we present PyTorch Geometric Temporal Index (PGT-I), an extension to PyTorch Geometric Temporal that integrates distributed data parallel training and two novel strategies: index-batching and distributed-index-batching. Our index techniques exploit spatiotemporal structure to construct snapshots dynamically at runtime, significantly reducing memory overhead, while distributed-index-batching extends this approach by enabling scalable processing across multiple GPUs. Our techniques enable the first-ever training of an ST-GNN on the entire PeMS dataset without graph partitioning, reducing peak memory usage by up to 89\% and achieving up to a 13.1x speedup over standard DDP with 128 GPUs.
Abstract（参考訳）: 時空間グラフニューラルネットワーク(ST-GNN)は空間的および時間的データの依存関係をモデル化するための強力なツールである。しかし、これらのアプリケーションはメモリ制約のため、主に小規模のデータセットに限られている。分散トレーニングはソリューションを提供するが、現在のフレームワークは時空間モデルをサポートしておらず、時空間データの性質を見落としている。 PyTorch Geometric Temporal Index(PGT-I)は、分散データ並列トレーニングを統合したPyTorch Geometric Temporalの拡張であり、インデックスバッチと分散インデックスバッチという2つの新しい戦略である。我々のインデックス技術は、時空間構造を利用して、実行時にスナップショットを動的に構築し、メモリオーバーヘッドを大幅に削減する一方、分散インデックスバッチは、複数のGPUでスケーラブルな処理を可能にすることによってこのアプローチを拡張している。本手法により,グラフパーティショニングを必要とせずに,PeMSデータセット全体のST-GNNを初めてトレーニングすることが可能となり,ピークメモリ使用量を最大89\%削減し,128GPUの標準DDPよりも最大13.1倍の高速化を実現した。

関連論文リスト

Enhanced Soups for Graph Neural Networks [5.242305867893238]
個別に訓練されたグラフニューラルネットワーク(GNN)は、推論時に計算コストやメモリコストを増大させることなく、パフォーマンスを向上させることができる。本稿では,時間とメモリのオーバーヘッドを大幅に低減する勾配差に基づくスープング戦略であるLearned Souping for GNNを紹介する。また、メモリ使用量を大幅に削減する、新しいパーティションベースの学習スープの変種であるパーティションラーニングソーピングを提案する。
論文参考訳（メタデータ） (2025-03-14T17:29:27Z)
ST-FiT: Inductive Spatial-Temporal Forecasting with Limited Training Data [59.78770412981611]
現実世界のアプリケーションでは、ほとんどのノードはトレーニング中に利用可能な時間データを持っていないかもしれない。この問題に対処するために,ST-FiTというフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-14T17:51:29Z)
Pre-Training Identification of Graph Winning Tickets in Adaptive Spatial-Temporal Graph Neural Networks [5.514795777097036]
Lottery Ticket hypothesis (LTH) から派生した Graph Winning Ticket (GWT) の概念を導入する。事前決定された恒星トポロジーをGWTとしてトレーニング前に採用することにより、エッジの削減と効率的な情報伝達のバランスをとることができる。提案手法は,48GBのメモリを備えた単一A6000を用いて,最大規模の時空間データセット上でASTGNNのトレーニングを可能にする。
論文参考訳（メタデータ） (2024-06-12T14:53:23Z)
Mending of Spatio-Temporal Dependencies in Block Adjacency Matrix [3.529869282529924]
本稿では,時間的依存を考慮に入れた新たなエンドツーエンド学習アーキテクチャを提案する。提案手法は,SurgVisDomやC2D2などのベンチマークデータセット上での優れた性能を示す。
論文参考訳（メタデータ） (2023-10-04T06:42:33Z)
Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文参考訳（メタデータ） (2023-08-06T21:04:58Z)
Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
時間グラフは連続時間を通してノード間の動的相互作用を示す。本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-04-15T08:17:18Z)
Fast Temporal Wavelet Graph Neural Networks [7.477634824955323]
時系列データに基づくタスク学習のためのFTWGNN(Fast Temporal Wavelet Graph Neural Networks)を提案する。我々は高密度グラフ構造を分解し、対応するスパースウェーブレット基底を計算するために、MMF(Multi resolution Matrix Factorization)を用いる。実世界のPEMS-BAY, METR-LAトラフィックデータセット, AJILE12 ECoGデータセットによる実験結果から,FTWGNNは最先端技術と競合していることが示された。
論文参考訳（メタデータ） (2023-02-17T01:21:45Z)
NumS: Scalable Array Programming for the Cloud [82.827921577004]
タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
論文参考訳（メタデータ） (2022-06-28T20:13:40Z)
Model-Architecture Co-Design for High Performance Temporal GNN Inference on FPGA [5.575293536755127]
実世界のアプリケーションは、リアルタイムストリーミング動的グラフに対して高いパフォーマンスの推論を必要とする。本稿では,FPGA上でのメモリベースTGNNの推論のための新しいモデルアーキテクチャ共設計を提案する。我々は、知識蒸留を用いて単純化されたモデルを訓練し、元のモデルと同じような精度でビザビザビザビザを保証します。
論文参考訳（メタデータ） (2022-03-10T00:24:47Z)
Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。本稿では,これらのボトルネックを緩和する一連の改良点について述べる。また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文参考訳（メタデータ） (2021-10-16T02:41:35Z)
Spatio-Temporal Graph Scattering Transform [54.52797775999124]
グラフニューラルネットワークは、十分な高品質のトレーニングデータがないために、現実のシナリオでは実用的ではないかもしれない。我々は時間的データを解析するための数学的に設計された新しいフレームワークを考案した。
論文参考訳（メタデータ） (2020-12-06T19:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。