論文の概要: Efficient GNN Training Through Structure-Aware Randomized Mini-Batching

• arxiv url: http://arxiv.org/abs/2504.18082v1
• Date: Fri, 25 Apr 2025 05:16:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.649306
• Title: Efficient GNN Training Through Structure-Aware Randomized Mini-Batching
• Title（参考訳）: 構造を考慮したランダム化ミニバッチによる効率的なGNN訓練
• Authors: Vignesh Balaji, Christos Kozyrakis, Gal Chechik, Haggai Maron,
• Abstract要約: グラフニューラルネットワーク(GNN)は、現実世界のグラフでの学習を可能にし、GNNのトレーニングのデファクトスタンダードとしてミニバッチトレーニングが登場した。 既存のミニバッチ技術では、精度と収束性を改善するためにランダム化方式を採用している。 本稿では,コミュニティ構造を考慮したランダム化ミニバッチ(COMM-RAND)を提案する。
• 参考スコア（独自算出の注目度）: 41.7545164294969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) enable learning on realworld graphs and mini-batch training has emerged as the de facto standard for training GNNs because it can scale to very large graphs and improve convergence. Current mini-batch construction policies largely ignore efficiency considerations of GNN training. Specifically, existing mini-batching techniques employ randomization schemes to improve accuracy and convergence. However, these randomization schemes are often agnostic to the structural properties of the graph (for eg. community structure), resulting in highly irregular memory access patterns during GNN training that make suboptimal use of on-chip GPU caches. On the other hand, while deterministic mini-batching based solely on graph structure delivers fast runtime performance, the lack of randomness compromises both the final model accuracy and training convergence speed. In this paper, we present Community-structure-aware Randomized Mini-batching (COMM-RAND), a novel methodology that bridges the gap between the above extremes. COMM-RAND allows practitioners to explore the space between pure randomness and pure graph structural awareness during mini-batch construction, leading to significantly more efficient GNN training with similar accuracy. We evaluated COMM-RAND across four popular graph learning benchmarks. COMM-RAND cuts down GNN training time by up to 2.76x (1.8x on average) while achieving an accuracy that is within 1.79% points (0.42% on average) compared to popular random mini-batching approaches.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、現実世界のグラフでの学習を可能にし、GNNをトレーニングするためのデファクトスタンダードとしてミニバッチトレーニングが登場した。 現在のミニバッチ建設政策は、GNN訓練の効率性をほとんど無視している。 特に、既存のミニバッチ技術では、精度と収束性を改善するためにランダム化スキームを採用している。 しかしながら、これらのランダム化スキームは、しばしばグラフの構造的特性(例えば、コミュニティ構造)に依存しないため、GNNトレーニング中に非常に不規則なメモリアクセスパターンが発生し、オンチップのGPUキャッシュを最適化する。 一方、グラフ構造のみに基づく決定論的ミニバッチは高速な実行性能を実現するが、ランダム性の欠如は最終的なモデルの精度とトレーニング収束速度の両方を損なう。 本稿では,コミュニティ構造を考慮したランダム化ミニバッチ(COMM-RAND)を提案する。 COMM-RANDは、ミニバッチ構築中に純粋なランダムネスと純粋なグラフ構造認識の間の空間を探索することを可能にする。 我々は4つのグラフ学習ベンチマークでCOMM-RANDを評価した。 COMM-RANDはGNNのトレーニング時間を最大2.76倍(平均1.8倍)削減し、一般的なランダム・ミニバッチ・アプローチと比較して1.79%(平均0.42%)以内の精度を達成する。

関連論文リスト

• Armada: Memory-Efficient Distributed Training of Large-Scale Graph Neural Networks [14.061451788125938]
  本稿では,マシン間で分割された数十億規模のグラフ上でのグラフニューラルネットワーク(GNN)の分散トレーニングについて検討する。 この環境での効率的な訓練は、GNN近傍サンプリングによる機械間通信を最小限に抑える分断アルゴリズムに頼っている。 我々は、分散GNNトレーニングのための新しいエンドツーエンドシステムであるArmandaを紹介し、その主な貢献は、大規模グラフに効率よくスケール可能な、新しいmin-edge-cutパーティショニングアルゴリズムであるGREMである。
  論文  参考訳（メタデータ） (2025-02-25T04:47:39Z)
• Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
  グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 高速グラフシャープネス認識最小化(FGSAM)を提案する。 提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
  論文  参考訳（メタデータ） (2024-10-22T09:33:29Z)
• Entropy Aware Training for Fast and Accurate Distributed GNN [0.0]
  数十億のグラフ上でグラフニューラルネットワーク(GNN)をスケールするために、いくつかの分散フレームワークが開発されている。 トレーニング時間を短縮し、精度を向上させる技術を開発した。 当社のアルゴリズムはDistDGLフレームワーク上に実装されており,既存のトレーニング手法よりもはるかに優れたスケーリングを実現する。
  論文  参考訳（メタデータ） (2023-11-04T13:11:49Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Fast and Effective GNN Training through Sequences of Random Path Graphs [20.213843086649014]
  本稿では,ノード分類タスクにおいて,GNNをトレーニングするためのスケーラブルなフレームワークであるGERNを紹介する。 提案手法は,経路グラフに好適に変換された無作為な散在木列のGNN重みを漸進的に洗練する。 これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
  論文  参考訳（メタデータ） (2023-06-07T23:12:42Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation [13.815063206114713]
  グラフニューラルネットワーク(GNN)の精度を向上させるための新しい一貫性トレーニング手法を提案する。 対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。 提案手法は, 推定した近傍サンプルの予測値に近似し, 実質的には少数のサンプルしか必要としない。
  論文  参考訳（メタデータ） (2021-10-12T19:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。