論文の概要: Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs

• arxiv url: http://arxiv.org/abs/2604.16715v1
• Date: Fri, 17 Apr 2026 21:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.140819
• Title: Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
• Title（参考訳）: 大規模グラフ上でのグラフ変換器のスケーラブルで適応的な並列学習
• Authors: Jun-Liang Lin, Kamesh Madduri, Mahmut Taylan Kandemir,
• Abstract要約: 本稿では,グラフ構造とハードウェア構成に基づいて並列化戦略を自動選択し,最適化するグラフトランスフォーマーのための分散トレーニングフレームワークを提案する。 分散スパース演算の実装により、スパースグラフの注目度を最大3.8倍に加速し、最先端のフレームワークと比較してメモリ消費量を78%削減する。
• 参考スコア（独自算出の注目度）: 7.700643735606351
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph foundation models have demonstrated remarkable adaptability across diverse downstream tasks through large-scale pretraining on graphs. However, existing implementations of the backbone model, graph transformers, are typically limited to single-GPU systems, leading to long training times or out-of-memory issues on large graphs. Moreover, parallelizing graph transformer training over the full graph is challenging, as efficiency depends heavily on both the graph structure and system characteristics, such as bandwidth and memory capacity. In this work, we introduce a distributed training framework for graph transformers, which automatically selects and optimizes parallelization strategies based on the graph structure and hardware configuration. With our implementation of distributed sparse operations, we accelerate sparse graph attention by up to 3.8x and reduce memory consumption by 78% compared to state-of-the-art frameworks. On large graph benchmarks, our proposed framework achieves up to 6x speedup with system scaling up to 8 GPUs. These results demonstrate that the proposed framework improves the scalability of graph transformers, bringing them closer to serving as practical graph foundation models.
• Abstract（参考訳）: グラフ基礎モデルは、グラフ上の大規模事前学習を通じて、様々な下流タスクに顕著な適応性を示した。 しかしながら、バックボーンモデルの既存の実装であるグラフトランスフォーマーは、通常はシングルGPUシステムに限られており、長いトレーニング時間や大きなグラフのメモリ外問題を引き起こす。 さらに、グラフ構造と、帯域幅やメモリ容量といったシステム特性に大きく依存するため、グラフトランスフォーマーのトレーニングをフルグラフ上で並列化することは困難である。 本研究では,グラフ構造とハードウェア構成に基づいて並列化戦略を自動的に選択し,最適化する,グラフトランスフォーマーのための分散トレーニングフレームワークを提案する。 分散スパース演算の実装により、スパースグラフの注目度を最大3.8倍に加速し、最先端のフレームワークと比較してメモリ消費量を78%削減する。 大規模グラフベンチマークでは,提案するフレームワークは最大6倍の高速化を実現し,システムは最大8GPUまでスケールアップする。 これらの結果は,提案フレームワークがグラフトランスフォーマーのスケーラビリティを向上し,実用的なグラフ基盤モデルとして機能することを示す。

関連論文リスト

• VecFormer: Towards Efficient and Generalizable Graph Transformer with Graph Token Attention [61.96837866507746]
  VecFormerはノード分類のための効率的かつ高一般化可能なモデルである。 VecFormerは、パフォーマンスとスピードの両方で、既存のGraph Transformerを上回っている。
  論文  参考訳（メタデータ） (2026-02-23T09:10:39Z)
• Plexus: Taming Billion-edge Graphs with 3D Parallel Full-graph GNN Training [5.1420473428862605]
  グラフニューラルネットワーク(GNN)は、実世界のグラフの接続性と構造を利用して、ノード間の複雑な特性と関係を学習する。 多くの実世界のグラフはGPUのメモリ容量を超えており、そのようなグラフ上でのGNNのトレーニングには、スケールするためにミニバッチサンプリングのような技術が必要である。 本稿では、これらの問題に対処し、数十億のエッジグラフにスケールするフルグラフトレーニングのための3次元並列アプローチを提案する。
  論文  参考訳（メタデータ） (2025-05-07T02:49:52Z)
• DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling [10.556366638048384]
  Graph Transformer(GT)は最近、グラフ構造化データ学習のための有望なニューラルネットワークアーキテクチャとして登場した。 DHIL-GTはスケーラブルなグラフ変換器で,グラフ計算を個別のステージに完全に分離することで,ネットワーク学習を簡略化する。 DHIL-GTは、大規模ベンチマーク上の既存のスケーラブルグラフ変換器の設計よりも、計算の高速化とミニバッチ能力の点で効率的である。
  論文  参考訳（メタデータ） (2024-12-06T02:59:01Z)
• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Generalizing Graph Transformers Across Diverse Graphs and Tasks via Pre-training [58.17760496884059]
  PGT(Pre-trained Graph Transformer)と呼ばれるスケーラブルなトランスフォーマーベースのグラフ事前学習フレームワークを導入する。 従来のオートエンコーダアーキテクチャとは違って,デコーダを機能拡張に用いる新しい戦略を提案する。 我々のフレームワークは1100万のノードと160億のエッジを持つ、公開可能なogbn-papers100Mデータセットでテストされ、最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-07-04T14:14:09Z)
• Transformers as Graph-to-Graph Models [13.630495199720423]
  トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。 我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
  論文  参考訳（メタデータ） (2023-10-27T07:21:37Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Distributed Graph Embedding with Information-Oriented Random Walks [16.290803469068145]
  グラフ埋め込みはグラフノードを低次元ベクトルにマッピングし、機械学習タスクで広く採用されている。 数十億のエッジグラフを埋め込むためにスケール可能な,汎用的で分散された情報中心のランダムウォークベースのグラフ埋め込みフレームワークであるDistGERを提案する。 D DistGERは2.33x-129x加速、機械間通信の45%削減、下流タスクの10%改善を示す。
  論文  参考訳（メタデータ） (2023-03-28T03:11:21Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。