論文の概要: Full-Graph vs. Mini-Batch Training: Comprehensive Analysis from a Batch Size and Fan-Out Size Perspective

• arxiv url: http://arxiv.org/abs/2601.22678v1
• Date: Fri, 30 Jan 2026 07:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.305886
• Title: Full-Graph vs. Mini-Batch Training: Comprehensive Analysis from a Batch Size and Fan-Out Size Perspective
• Title（参考訳）: フルグラフ対ミニバッチトレーニング: バッチサイズとファンアウトサイズの観点からの包括的分析
• Authors: Mengfan Liu, Da Zheng, Junwei Su, Chuan Wu,
• Abstract要約: 本稿では,フルグラフとミニバッチグラフニューラルネットワーク(GNN)のトレーニング手法を体系的に比較する。 本稿では、ワッサーシュタイン距離を用いた新しい一般化解析を行い、グラフ構造の影響について検討する。 GNN収束と一般化におけるバッチサイズとファンアウトサイズの非等方性効果を明らかにする。
• 参考スコア（独自算出の注目度）: 24.150613011881774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Full-graph and mini-batch Graph Neural Network (GNN) training approaches have distinct system design demands, making it crucial to choose the appropriate approach to develop. A core challenge in comparing these two GNN training approaches lies in characterizing their model performance (i.e., convergence and generalization) and computational efficiency. While a batch size has been an effective lens in analyzing such behaviors in deep neural networks (DNNs), GNNs extend this lens by introducing a fan-out size, as full-graph training can be viewed as mini-batch training with the largest possible batch size and fan-out size. However, the impact of the batch and fan-out size for GNNs remains insufficiently explored. To this end, this paper systematically compares full-graph vs. mini-batch training of GNNs through empirical and theoretical analyses from the view points of the batch size and fan-out size. Our key contributions include: 1) We provide a novel generalization analysis using the Wasserstein distance to study the impact of the graph structure, especially the fan-out size. 2) We uncover the non-isotropic effects of the batch size and the fan-out size in GNN convergence and generalization, providing practical guidance for tuning these hyperparameters under resource constraints. Finally, full-graph training does not always yield better model performance or computational efficiency than well-tuned smaller mini-batch settings. The implementation can be found in the github link: https://github.com/LIUMENGFAN-gif/GNN_fullgraph_minibatch_training.
• Abstract（参考訳）: フルグラフとミニバッチグラフニューラルネットワーク(GNN)のトレーニングアプローチには、システム設計の要求が異なるため、開発する適切なアプローチを選択することが不可欠である。 これら2つのGNNトレーニングアプローチを比較する上での課題は、モデルの性能(収束と一般化)と計算効率を特徴づけることである。 バッチサイズはディープニューラルネットワーク(DNN)におけるそのような振る舞いを分析するのに有効なレンズであるが、GNNはこのレンズをファンアウトサイズを導入して拡張し、フルグラフトレーニングは可能な限り最大のバッチサイズとファンアウトサイズを持つミニバッチトレーニングと見なすことができる。 しかし、GNNのバッチサイズとファンアウトサイズの影響は未だ十分に調査されていない。 そこで本研究では,バッチサイズとファンアウトサイズの観点から,GNNのフルグラフとミニバッチのトレーニングを実証的および理論的解析により体系的に比較する。 私たちの重要なコントリビューションは以下のとおりです。 1) ワッサーシュタイン距離を用いた新しい一般化解析を行い, グラフ構造, 特にファンアウトサイズの影響について検討する。 2) GNN収束・一般化におけるバッチサイズとファンアウトサイズの非等方的効果を明らかにし,資源制約下でこれらのハイパーパラメータをチューニングするための実用的なガイダンスを提供する。 最後に、フルグラフトレーニングは、よく調整されたより小さなミニバッチ設定よりも優れたモデル性能や計算効率をもたらすとは限らない。 実装はgithubのリンクで確認できる。 https://github.com/LiumENGFAN-gif/GNN_fullgraph_minibatch_training。

関連論文リスト

• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• An Experimental Comparison of Partitioning Strategies for Distributed Graph Neural Network Training [13.354505458409957]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データから学習可能な深層学習の領域として注目されている。 本稿では,分散GNN学習におけるグラフ分割の有効性について検討する。 高品質なグラフ分割は、GNNトレーニングを高速化し、メモリ消費を減らすために非常に効果的な最適化であることがわかった。
  論文  参考訳（メタデータ） (2023-08-29T19:47:31Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• A New Perspective for Understanding Generalization Gap of Deep Neural Networks Trained with Large Batch Sizes [14.822603738271138]
  ディープニューラルネットワーク(DNN)は通常、様々な種類のミニバッチ勾配勾配アルゴリズムを用いて最適化される。 多くの研究は、訓練バッチサイズが一定の限界を超えて増加すると、モデル一般化の進歩的な損失を報告している。 これは一般に一般化ギャップと呼ばれるシナリオである。 分析の結果,トレーニングバッチサイズが大きくなれば,ユニットのアクティベーションがほぼ失われることがわかった。
  論文  参考訳（メタデータ） (2022-10-21T18:23:12Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• GIST: Distributed Training for Large-Scale Graph Convolutional Networks [18.964079367668262]
  GISTはハイブリッド層とグラフサンプリング手法であり、グローバルモデルをいくつかの小さなサブGCNに分割する。 この分散フレームワークはモデルのパフォーマンスを改善し、ウォールクロックのトレーニング時間を大幅に短縮します。 GISTは、グラフ機械学習とディープラーニングの既存のギャップを埋めることを目的として、大規模なGCN実験を可能にすることを目指している。
  論文  参考訳（メタデータ） (2021-02-20T19:25:38Z)
• Ripple Walk Training: A Subgraph-based training framework for Large and Deep Graph Neural Network [10.36962234388739]
  本稿では,深部および大規模グラフニューラルネットワークのための一般的なサブグラフベーストレーニングフレームワークであるRipple Walk Training(RWT)を提案する。 RWTは、全グラフからサブグラフをサンプリングしてミニバッチを構成し、全GNNはミニバッチ勾配に基づいて更新される。 グラフの異なるサイズに関する大規模な実験は、様々なGNNを訓練する際のRWTの有効性と効率を実証している。
  論文  参考訳（メタデータ） (2020-02-17T19:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。