論文の概要: Staleness-Alleviated Distributed GNN Training via Online Dynamic-Embedding Prediction

• arxiv url: http://arxiv.org/abs/2308.13466v1
• Date: Fri, 25 Aug 2023 16:10:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 13:22:39.063914
• Title: Staleness-Alleviated Distributed GNN Training via Online Dynamic-Embedding Prediction
• Title（参考訳）: オンライン動的埋め込み予測による停滞解消型分散gnnトレーニング
• Authors: Guangji Bai, Ziyang Yu, Zheng Chai, Yue Cheng, Liang Zhao
• Abstract要約: 本稿では,新しい分散GNNトレーニングフレームワークSAT(Staleness-Alleviated Training)を提案する。 SATのキーとなる考え方は、GNNの埋め込み進化を時間グラフとしてモデル化し、その上にモデルを構築し、将来の埋め込みを予測することである。 実験により,SATは埋込安定性を効果的に低減し,より優れた性能と収束速度を実現することができることを示した。
• 参考スコア（独自算出の注目度）: 13.575053193557697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent success of Graph Neural Networks (GNNs), it remains challenging to train GNNs on large-scale graphs due to neighbor explosions. As a remedy, distributed computing becomes a promising solution by leveraging abundant computing resources (e.g., GPU). However, the node dependency of graph data increases the difficulty of achieving high concurrency in distributed GNN training, which suffers from the massive communication overhead. To address it, Historical value approximation is deemed a promising class of distributed training techniques. It utilizes an offline memory to cache historical information (e.g., node embedding) as an affordable approximation of the exact value and achieves high concurrency. However, such benefits come at the cost of involving dated training information, leading to staleness, imprecision, and convergence issues. To overcome these challenges, this paper proposes SAT (Staleness-Alleviated Training), a novel and scalable distributed GNN training framework that reduces the embedding staleness adaptively. The key idea of SAT is to model the GNN's embedding evolution as a temporal graph and build a model upon it to predict future embedding, which effectively alleviates the staleness of the cached historical embedding. We propose an online algorithm to train the embedding predictor and the distributed GNN alternatively and further provide a convergence analysis. Empirically, we demonstrate that SAT can effectively reduce embedding staleness and thus achieve better performance and convergence speed on multiple large-scale graph datasets.
• Abstract（参考訳）: 最近のグラフニューラルネットワーク(GNN)の成功にもかかわらず、近隣の爆発によって大規模なグラフでGNNをトレーニングすることは依然として困難である。 修正として、分散コンピューティングは、豊富なコンピューティングリソース(例えばgpu)を活用することで、有望なソリューションになる。 しかし,グラフデータのノード依存性は,大規模な通信オーバーヘッドに悩まされる分散GNNトレーニングにおいて,高い並行性を実現することの難しさを増大させる。 これを解決するために、歴史的価値近似は分散トレーニング技術の有望なクラスと見なされる。 オフラインメモリを使用して、正確な値の安価な近似として履歴情報をキャッシュし、高い並行性を実現する。 しかし、そのような利点は、古いトレーニング情報を含むコストがかかるため、停滞、不正確さ、および収束の問題に繋がる。 これらの課題を克服するため,本稿では,新しいスケーラブル分散gnnトレーニングフレームワークであるsat(staleness-alleviated training)を提案する。 SATの鍵となる考え方は、GNNの埋め込み進化を時間グラフとしてモデル化し、その上にモデルを構築し、将来の埋め込みを予測することである。 本稿では,埋め込み予測器と分散GNNを代替的に学習するオンラインアルゴリズムを提案し,さらに収束解析を行う。 実験により,satは組込みの停滞を効果的に軽減し,大規模グラフデータセットの性能と収束速度を向上できることを実証した。

関連論文リスト

• CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
  既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。 低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。 また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-02T20:55:39Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Distributed Graph Neural Network Training with Periodic Historical Embedding Synchronization [9.503080586294406]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、ナレッジグラフなどの様々なアプリケーションで広く使われている。 従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。 本稿では,新しい分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
  論文  参考訳（メタデータ） (2022-05-31T18:44:53Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。