論文の概要: MSPipe: Efficient Temporal GNN Training via Staleness-Aware Pipeline

• arxiv url: http://arxiv.org/abs/2402.15113v2
• Date: Thu, 18 Jul 2024 09:26:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 21:31:34.493329
• Title: MSPipe: Efficient Temporal GNN Training via Staleness-Aware Pipeline
• Title（参考訳）: MSPipe: 静的認識パイプラインによる効率的な時間的GNNトレーニング
• Authors: Guangming Sheng, Junwei Su, Chao Huang, Chuan Wu,
• Abstract要約: メモリベースの時間グラフニューラルネットワーク(MTGNN)は、ノードメモリモジュールを使用して長期の時間依存を捕捉し保持する時間グラフニューラルネットワークのクラスである。 トレーニングパラダイム、モデルアーキテクチャ、メモリモジュールの欠如などにより、既存の静的GNNの最適化はMTGNNに直接適用できない。 モデル精度を維持しながらトレーニングスループットを最大化するMTGNNのための汎用的で効率的なフレームワークであるMSPipeを提案する。
• 参考スコア（独自算出の注目度）: 8.889825826072512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memory-based Temporal Graph Neural Networks (MTGNNs) are a class of temporal graph neural networks that utilize a node memory module to capture and retain long-term temporal dependencies, leading to superior performance compared to memory-less counterparts. However, the iterative reading and updating process of the memory module in MTGNNs to obtain up-to-date information needs to follow the temporal dependencies. This introduces significant overhead and limits training throughput. Existing optimizations for static GNNs are not directly applicable to MTGNNs due to differences in training paradigm, model architecture, and the absence of a memory module. Moreover, they do not effectively address the challenges posed by temporal dependencies, making them ineffective for MTGNN training. In this paper, we propose MSPipe, a general and efficient framework for MTGNNs that maximizes training throughput while maintaining model accuracy. Our design addresses the unique challenges associated with fetching and updating node memory states in MTGNNs by integrating staleness into the memory module. However, simply introducing a predefined staleness bound in the memory module to break temporal dependencies may lead to suboptimal performance and lack of generalizability across different models and datasets. To solve this, we introduce an online pipeline scheduling algorithm in MSPipe that strategically breaks temporal dependencies with minimal staleness and delays memory fetching to obtain fresher memory states. Moreover, we design a staleness mitigation mechanism to enhance training convergence and model accuracy. We provide convergence analysis and prove that MSPipe maintains the same convergence rate as vanilla sample-based GNN training. Experimental results show that MSPipe achieves up to 2.45x speed-up without sacrificing accuracy, making it a promising solution for efficient MTGNN training.
• Abstract（参考訳）: メモリベースの時間グラフニューラルネットワーク(MTGNN)は、ノードメモリモジュールを使用して長期の時間依存を捕捉し保持する時間グラフニューラルネットワークのクラスである。 しかし、MTGNNにおけるメモリモジュールの反復読み込みと更新プロセスにより、最新の情報を得るには、時間的依存関係に従う必要がある。 これにより、オーバーヘッドが大きくなり、トレーニングのスループットが制限される。 トレーニングパラダイム、モデルアーキテクチャ、メモリモジュールの欠如などにより、既存の静的GNNの最適化はMTGNNに直接適用できない。 さらに、時間的依存による課題に効果的に対応せず、MTGNNのトレーニングには効果がない。 本稿では,モデル精度を維持しながらトレーニングのスループットを最大化するMTGNNの汎用的で効率的なフレームワークであるMSPipeを提案する。 本設計では, MTGNNにおけるノードメモリ状態のフェッチと更新に, メモリモジュールに安定化を組み込むことで, ユニークな課題に対処する。 しかし、時間的依存を断ち切るためにメモリモジュールに事前に定義された静的性を導入するだけで、最適なパフォーマンスと異なるモデルやデータセット間の一般化性の欠如につながる可能性がある。 これを解決するために,MSPipe にオンラインパイプラインスケジューリングアルゴリズムを導入し,時間依存性を最小限の安定化で戦略的に破壊し,メモリフェッチを遅らせて新たなメモリ状態を得る方法を提案する。 さらに,トレーニングの収束とモデルの精度を高めるため,定常緩和機構を設計する。 収束解析を行い,MSPipeがバニラサンプルベースGNNトレーニングと同じ収束率を維持していることを示す。 実験の結果,MSPipeは精度を犠牲にすることなく最大2.45倍のスピードアップを実現し,MTGNNの効率的なトレーニングに有効であることがわかった。

関連論文リスト

• MoM: Linear Sequence Modeling with Mixture-of-Memories [9.665802842933209]
  我々はMixture-of-Memories (MoM)と呼ばれる新しいアーキテクチャを導入する。 MoMは複数の独立したメモリ状態を利用し、ルータネットワークは入力トークンを特定のメモリ状態に誘導する。 MoMは、既存の線形シーケンスモデリング技術を超え、リコール集約タスクにおいて非常によく機能する。
  論文  参考訳（メタデータ） (2025-02-19T12:53:55Z)
• Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory [1.4487264853431878]
  我々はReMeDe Treesを紹介した。ReMeDe Treesは、RNNに似た内部メモリ機構を統合して、シーケンシャルデータにおける長期依存を学習する新しいDTアーキテクチャである。 我々のモデルは、出力生成と状態更新の両方に対して、厳密な軸整列決定ルールを学習し、勾配降下により効率よく最適化する。
  論文  参考訳（メタデータ） (2025-02-06T13:11:50Z)
• Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory [0.8321953606016751]
  本稿では,スパースRNNとスパイキングニューラルネットワークの一般クラスに適したメモリ効率の高い勾配チェックポイント戦略を提案する。 再計算のオーバーヘッドを最小限に抑えながら、ローカルメモリリソースの使用を最適化し、Double Checkpointingが最も効果的な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-12-16T14:23:31Z)
• PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks [22.47336262812308]
  メモリベースの動的グラフニューラルネットワーク(MDGNN)は、動的グラフニューラルネットワークのファミリーであり、メモリモジュールを利用して、長期の時間的依存関係を抽出、抽出、抽出する。 本稿では,時間的バッチサイズが大きいMDGNNの訓練における時間的不連続性に着目し,大規模MDGNNの効率的な訓練について検討する。
  論文  参考訳（メタデータ） (2024-02-06T01:34:56Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Towards Zero Memory Footprint Spiking Neural Network Training [7.4331790419913455]
  スパイキングニューラルネットワーク(SNN)は、連続値ではなくスパイクと呼ばれる離散時間イベントを使用して情報を処理する。 本稿では,メモリフットプリントが著しく低いことを特徴とする,革新的なフレームワークを提案する。 我々の設計では、現在のSNNノードと比較してメモリ使用量の削減を$mathbf58.65times$で達成できる。
  論文  参考訳（メタデータ） (2023-08-16T19:49:24Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。