論文の概要: WaveGAS: Waveform Relaxation for Scaling Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2502.19986v1
• Date: Thu, 27 Feb 2025 11:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:56:36.644198
• Title: WaveGAS: Waveform Relaxation for Scaling Graph Neural Networks
• Title（参考訳）: WaveGAS: グラフニューラルネットワークのスケーリングのための波形緩和
• Authors: Jana Vatter, Mykhaylo Zayats, Marcos Martínez Galindo, Vanessa López, Ruben Mayer, Hans-Arno Jacobsen, Hoang Thanh Lam,
• Abstract要約: GNNAutoScale(GAS)は、制約付きGPUメモリ下でのトレーニングを可能にするためにグラフパーティショニングを使用する。 ガスは歴史的埋め込みベクターを格納し、それは他のパーティション内のワンホップ隣人から取り出され、重要な情報がパーティション境界を越えて取得されることを保証する。 前回のトレーニングから得られた履歴埋め込みはGAS推定埋め込みと比較して停滞しており、結果としてトレーニングアルゴリズムの近似誤差が生じる。 まず、波形緩和にインスパイアされたWaveGASは、後方通過前にGAS内の複数の前方通過を実行し、歴史的埋め込みと勾配の近似を補正して精度を向上させる。
• 参考スコア（独自算出の注目度）: 13.223473148178906
• License:
• Abstract: With the ever-growing size of real-world graphs, numerous techniques to overcome resource limitations when training Graph Neural Networks (GNNs) have been developed. One such approach, GNNAutoScale (GAS), uses graph partitioning to enable training under constrained GPU memory. GAS also stores historical embedding vectors, which are retrieved from one-hop neighbors in other partitions, ensuring critical information is captured across partition boundaries. The historical embeddings which come from the previous training iteration are stale compared to the GAS estimated embeddings, resulting in approximation errors of the training algorithm. Furthermore, these errors accumulate over multiple layers, leading to suboptimal node embeddings. To address this shortcoming, we propose two enhancements: first, WaveGAS, inspired by waveform relaxation, performs multiple forward passes within GAS before the backward pass, refining the approximation of historical embeddings and gradients to improve accuracy; second, a gradient-tracking method that stores and utilizes more accurate historical gradients during training. Empirical results show that WaveGAS enhances GAS and achieves better accuracy, even outperforming methods that train on full graphs, thanks to its robust estimation of node embeddings.
• Abstract（参考訳）: 現実世界のグラフのサイズが拡大するにつれ、グラフニューラルネットワーク(GNN)をトレーニングする際のリソース制限を克服する多くの技術が開発されている。 そのようなアプローチの1つ、GNNAutoScale(GAS)は、制約付きGPUメモリ下でのトレーニングを可能にするためにグラフパーティショニングを使用する。 また、GASは歴史的埋め込みベクトルを格納しており、これは1つのホップの隣人から他のパーティションで取得され、パーティション境界を越えて重要な情報が取得される。 前回のトレーニングイテレーションから得られた履歴埋め込みはGAS推定埋め込みと比較して停滞しており、結果としてトレーニングアルゴリズムの近似誤差が生じる。 さらに、これらのエラーは複数の層に蓄積され、最適化ノードの埋め込みにつながる。 まず、波形緩和にインスパイアされたWaveGASは、後方通過前のGAS内で複数の前方通過を実行し、履歴埋め込みと勾配の近似を改良して精度を向上させる。 経験的な結果から、WaveGASはGASを強化し、より正確な精度を実現し、ノードの埋め込みを頑健に見積もっているため、フルグラフでトレーニングするメソッドよりも優れています。

関連論文リスト

• Fast and Slow Gradient Approximation for Binary Neural Network Optimization [11.064044986709733]
  ハイパーネットワークに基づく手法は、ニューラルネットワークを用いて微分不可能な量子化関数の勾配を学習する。 本稿では,ヒストリ・グラディエント・ストレージ(HGS)モジュールを提案する。これは,ヒストリ・グラディエント・シーケンスをモデル化し,最適化に必要な1次モーメントを生成する。 また、ハイパーネットワークに層認識埋め込み(LRE)を導入し、層固有の微細勾配の生成を容易にする。
  論文  参考訳（メタデータ） (2024-12-16T13:48:40Z)
• RobGC: Towards Robust Graph Condensation [61.259453496191696]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の目覚ましい能力によって広く注目を集めている。 しかし,大規模グラフの普及は,その計算要求により,GNNトレーニングにとって大きな課題となる。 本稿では,GNNを効率よく学習し,性能を保ちつつ,情報的コンパクトなグラフを生成するために,GC(Graph Condensation)を提案する。
  論文  参考訳（メタデータ） (2024-06-19T04:14:57Z)
• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Layer-wise training for self-supervised learning on graphs [0.0]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。 本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:23:39Z)
• Learning Large Graph Property Prediction via Graph Segment Training [61.344814074335304]
  本稿では,メモリフットプリントを一定にして大きなグラフ特性予測を学習できる汎用フレームワークを提案する。 バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。 実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
  論文  参考訳（メタデータ） (2023-05-21T02:53:25Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
  GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。 ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。 ガスは大規模グラフ上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-06-10T09:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。