論文の概要: MegaGraph: Towards Efficient Training of Large-Scale Graph Transformers with Automated Hybrid Parallelism
- arxiv url: http://arxiv.org/abs/2609.34420v1
- Date: Mon, 28 Sep 2026 06:37:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 20:50:28.918474
- Title: MegaGraph: Towards Efficient Training of Large-Scale Graph Transformers with Automated Hybrid Parallelism
- Title（参考訳）: MegaGraph: 自動ハイブリッド並列処理による大規模グラフトランスの効率的なトレーニングを目指す
- Abstract要約: グラフトランスフォーマー(GT)は、従来のグラフニューラルネットワーク(GNN)の奥行き制限と過度にスムースな問題を克服することで、優れた表現機能を提供する。
MegaGraphは、効率的なGTトレーニング用に設計された最初の自動ハイブリッド並列化フレームワークである。
デバイス毎のピークメモリを最大77.8%削減し、最大4.51$timesのトレーニングスピードアップを実現している。
- 参考スコア（独自算出の注目度）: 19.864288840765447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Transformers (GTs) offer superior representation capabilities by overcoming the depth limitations and over-smoothing issues of traditional Graph Neural Networks (GNNs). However, scaling GTs to large graphs poses critical bottlenecks. Specifically, the attention score matrix and its associated topology-aware bias matrix jointly incur significant per-layer memory overhead, and heavy graph embedding layers result in severe workload imbalances. These characteristics are unique to GT training and are not addressed by parallelism techniques designed for either conventional GNNs or Transformers, making a dedicated solution necessary. This paper introduces MegaGraph, the first automated hybrid parallelism framework designed for efficient GT training. MegaGraph designs three specialized strategies, namely graph-aware context parallelism, heterogeneous pipeline parallelism, and hybrid data parallelism, to support efficient training on large-scale graphs. However, coordinating these three parallelism strategies yields an exponentially large configuration space. To address this complexity, an automatic search engine leverages precise cost models via a Profile - Model - Search workflow to identify the optimal parallelism configuration. Evaluations demonstrate that MegaGraph enables training on large-scale graphs where state-of-the-art baselines fail due to out-of-memory (OOM) errors. The framework reduces per-device peak memory by up to 77.8\% and achieves up to 4.51$\times$ training speedup while maintaining model accuracy.
- Abstract（参考訳）: グラフトランスフォーマー(GT)は、従来のグラフニューラルネットワーク(GNN)の奥行き制限と過度にスムースな問題を克服することで、優れた表現機能を提供する。
しかし、GTを大きなグラフにスケーリングすることは、重大なボトルネックを引き起こす。
特に、アテンションスコア行列とそのトポロジ対応バイアス行列は、層ごとのメモリオーバーヘッドを増大させ、重グラフ埋め込み層は重労働負荷の不均衡をもたらす。
これらの特徴はGTトレーニング特有のものであり、従来のGNNやトランスフォーマー用に設計された並列処理技術では対処されず、専用のソリューションが必要である。
本稿では,効率的なGTトレーニング用に設計された最初の自動ハイブリッド並列化フレームワークであるMegaGraphを紹介する。
MegaGraphは、大規模グラフの効率的なトレーニングをサポートするために、グラフ対応コンテキスト並列性、異種パイプライン並列性、ハイブリッドデータ並列性という3つの特殊な戦略を設計している。
しかし、これらの3つの並列性戦略をコーディネートすると指数関数的に大きな構成空間が得られる。
この複雑さに対処するために、自動検索エンジンはプロファイル - モデル - 検索ワークフローを介して正確なコストモデルを活用し、最適な並列性の設定を特定する。
MegaGraphは、メモリ外エラー(OOM)によって最先端のベースラインが失敗する大規模グラフのトレーニングを可能にする。
このフレームワークはデバイスごとのピークメモリを77.8 %まで削減し、モデルの精度を維持しながら4.51$\times$トレーニングスピードアップを達成する。
関連論文リスト
- Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs [7.700643735606351]
本稿では,グラフ構造とハードウェア構成に基づいて並列化戦略を自動選択し,最適化するグラフトランスフォーマーのための分散トレーニングフレームワークを提案する。
分散スパース演算の実装により、スパースグラフの注目度を最大3.8倍に加速し、最先端のフレームワークと比較してメモリ消費量を78%削減する。
論文 参考訳（メタデータ） (2026-04-17T21:29:35Z) - VecFormer: Towards Efficient and Generalizable Graph Transformer with Graph Token Attention [61.96837866507746]
VecFormerはノード分類のための効率的かつ高一般化可能なモデルである。
VecFormerは、パフォーマンスとスピードの両方で、既存のGraph Transformerを上回っている。
論文 参考訳（メタデータ） (2026-02-23T09:10:39Z) - Scalable Graph Generative Modeling via Substructure Sequences [50.32639806800683]
本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。
G$2$PMはグラフインスタンス(ノード、エッジ、グラフ全体)をサブ構造のシーケンスとして表現する。
それは、一般化可能かつ伝達可能な表現を学ぶために、シーケンスに関する生成的事前学習を採用する。
論文 参考訳（メタデータ） (2025-05-22T02:16:34Z) - DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling [10.556366638048384]
Graph Transformer(GT)は最近、グラフ構造化データ学習のための有望なニューラルネットワークアーキテクチャとして登場した。
DHIL-GTはスケーラブルなグラフ変換器で,グラフ計算を個別のステージに完全に分離することで,ネットワーク学習を簡略化する。
DHIL-GTは、大規模ベンチマーク上の既存のスケーラブルグラフ変換器の設計よりも、計算の高速化とミニバッチ能力の点で効率的である。
論文 参考訳（メタデータ） (2024-12-06T02:59:01Z) - SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。
本研究では,一層伝播を一層伝播に還元できることを示す。
これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
論文 参考訳（メタデータ） (2024-09-13T17:37:34Z) - Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。
この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。
ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文 参考訳（メタデータ） (2023-12-18T11:19:23Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - GSplit: Scaling Graph Neural Network Training on Large Graphs via Split-Parallelism [6.3568605707961]
ミニバッチトレーニングは、大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするために一般的に使用される。
本稿では,スプリット・パララリズム(split parallelism)と呼ばれる,ハイブリッド並列型ミニバッチ・トレーニングパラダイムを提案する。
分割並列性はDGLやQuiver,P3$といった最先端のミニバッチトレーニングシステムよりも優れています。
論文 参考訳（メタデータ） (2023-03-24T03:28:05Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-09T17:51:13Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。