論文の概要: Graph Learning at Scale: Characterizing and Optimizing Pre-Propagation GNNs

• arxiv url: http://arxiv.org/abs/2504.13266v1
• Date: Thu, 17 Apr 2025 18:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 20:37:46.392032
• Title: Graph Learning at Scale: Characterizing and Optimizing Pre-Propagation GNNs
• Title（参考訳）: 大規模グラフ学習:事前伝搬GNNの特性と最適化
• Authors: Zichao Yue, Chenhui Deng, Zhiru Zhang,
• Abstract要約: プレプロパゲーションGNNは、トレーニングから前処理を通じて機能の伝搬を分離する新しいモデルのクラスである。 本稿では,PP-GNNの学習効率,スケーラビリティ,精度について,グラフサンプリングに基づく手法と比較し,包括的特徴付けを行う。 本稿では,PP-GNNトレーニングのスループットを,PP-GNNベースライン上で平均15$times$で向上させる最適化されたデータロード方式と調整されたトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 9.21955649907066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) are widely used for learning node embeddings in graphs, typically adopting a message-passing scheme. This approach, however, leads to the neighbor explosion problem, with exponentially growing computational and memory demands as layers increase. Graph sampling has become the predominant method for scaling GNNs to large graphs, mitigating but not fully solving the issue. Pre-propagation GNNs (PP-GNNs) represent a new class of models that decouple feature propagation from training through pre-processing, addressing neighbor explosion in theory. Yet, their practical advantages and system-level optimizations remain underexplored. This paper provides a comprehensive characterization of PP-GNNs, comparing them with graph-sampling-based methods in training efficiency, scalability, and accuracy. While PP-GNNs achieve comparable accuracy, we identify data loading as the key bottleneck for training efficiency and input expansion as a major scalability challenge. To address these issues, we propose optimized data loading schemes and tailored training methods that improve PP-GNN training throughput by an average of 15$\times$ over the PP-GNN baselines, with speedup of up to 2 orders of magnitude compared to sampling-based GNNs on large graph benchmarks. Our implementation is publicly available at https://github.com/cornell-zhang/preprop-gnn.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、ノードのグラフへの埋め込みを学習するために広く使われ、通常はメッセージパス方式を採用している。 しかし、このアプローチは隣り合う爆発的な問題につながり、層が増加するにつれて計算とメモリの需要が指数関数的に増加する。 グラフサンプリングは、GNNを大きなグラフにスケーリングする主要な方法となり、緩和されているが、この問題を完全には解決していない。 プレプロパゲーションGNN(PP-GNN)は、前処理によるトレーニングから特徴伝搬を分離する新しいモデルのクラスであり、理論上の隣の爆発に対処する。 しかし、その実用的利点とシステムレベルの最適化は未検討のままである。 本稿では,PP-GNNの学習効率,スケーラビリティ,精度について,グラフサンプリングに基づく手法と比較し,包括的特徴付けを行う。 PP-GNNは同等の精度を実現するが、トレーニング効率と入力拡張の鍵となるデータローディングを大きなスケーラビリティの課題とみなす。 これらの問題に対処するために、PP-GNNのトレーニングスループットをPP-GNNベースラインよりも平均15$\times$で改善する最適化されたデータロード方式と調整されたトレーニング手法を提案する。 私たちの実装はhttps://github.com/cornell-zhang/preprop-gnn.comで公開されています。

関連論文リスト

• SpanGNN: Towards Memory-Efficient Graph Neural Networks via Spanning Subgraph Training [14.63975787929143]
  グラフニューラルネットワーク(GNN)は、グラフデータを学習する能力に優れています。 フルグラフGNNトレーニングは一般的に精度が高いが、ピークメモリ使用量が多い。 本研究では,SpanGNNと呼ばれるスパンニングサブグラフを用いたメモリ効率のよいGNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T13:46:23Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。