論文の概要: VISAGNN: Versatile Staleness-Aware Efficient Training on Large-Scale Graphs

• arxiv url: http://arxiv.org/abs/2511.12434v1
• Date: Sun, 16 Nov 2025 03:25:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.092741
• Title: VISAGNN: Versatile Staleness-Aware Efficient Training on Large-Scale Graphs
• Title（参考訳）: VISAGNN: 大規模グラフ上でのVersatile Stalenessを意識した学習
• Authors: Rui Xue,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ表現学習と幅広い現実世界のアプリケーションにおいて、非常に成功した。 より深いGNNのスケーリングは、大規模グラフのトレーニングにおいて、近隣の爆発的な問題のために課題を生じさせる。 本稿では,VISAGNN という,大規模GNN トレーニングプロセスに安定化基準を動的かつ適応的に組み込む新しい VersatIle Staleness-Aware GNN を提案する。
• 参考スコア（独自算出の注目度）: 1.6210884160768364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have shown exceptional success in graph representation learning and a wide range of real-world applications. However, scaling deeper GNNs poses challenges due to the neighbor explosion problem when training on large-scale graphs. To mitigate this, a promising class of GNN training algorithms utilizes historical embeddings to reduce computation and memory costs while preserving the expressiveness of the model. These methods leverage historical embeddings for out-of-batch nodes, effectively approximating full-batch training without losing any neighbor information-a limitation found in traditional sampling methods. However, the staleness of these historical embeddings often introduces significant bias, acting as a bottleneck that can adversely affect model performance. In this paper, we propose a novel VersatIle Staleness-Aware GNN, named VISAGNN, which dynamically and adaptively incorporates staleness criteria into the large-scale GNN training process. By embedding staleness into the message passing mechanism, loss function, and historical embeddings during training, our approach enables the model to adaptively mitigate the negative effects of stale embeddings, thereby reducing estimation errors and enhancing downstream accuracy. Comprehensive experiments demonstrate the effectiveness of our method in overcoming the staleness issue of existing historical embedding techniques, showcasing its superior performance and efficiency on large-scale benchmarks, along with significantly faster convergence.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ表現学習と幅広い現実世界のアプリケーションにおいて、非常に成功した。 しかし、大規模グラフのトレーニングにおいて、近隣の爆発問題により、より深いGNNのスケーリングが問題となる。 これを軽減するため、GNNトレーニングアルゴリズムの有望なクラスでは、履歴埋め込みを利用して、モデルの表現性を保ちながら、計算とメモリコストを削減する。 これらの手法は、昔ながらのバッチノードへの埋め込みを利用しており、従来のサンプリング手法で見られるような、近隣の情報を失うことなく、効果的にフルバッチトレーニングを近似する。 しかし、これらの歴史的埋め込みの安定性は、しばしば大きなバイアスをもたらし、モデルの性能に悪影響を及ぼすボトルネックとして機能する。 本稿では,VISAGNN という,大規模GNN トレーニングプロセスに安定化基準を動的かつ適応的に組み込んだ小説 VersatIle Staleness-Aware GNN を提案する。 トレーニング中のメッセージパッシング機構,損失関数,履歴埋め込みに安定化度を埋め込むことにより,本手法はスタイル埋め込みの負の効果を適応的に軽減し,推定誤差を低減し,下流精度を向上させる。 包括的実験により,従来の埋込み手法の安定性を克服する手法の有効性を実証し,大規模ベンチマークにおいて優れた性能と効率性を示し,より高速な収束を図った。

関連論文リスト

• Towards Scalable and Deep Graph Neural Networks via Noise Masking [59.058558158296265]
  グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。 計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。 既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T07:48:14Z)
• FIT-GNN: Faster Inference Time for GNNs that 'FIT' in Memory Using Coarsening [1.1345413192078595]
  本稿では,グラフ粗化を用いた推論フェーズにおける計算負担を軽減することにより,グラフニューラルネットワーク(GNN)のスケーラビリティを向上させる新しい手法を提案する。 本研究は,グラフ分類やグラフ回帰を含むグラフレベルのタスクに対するグラフ粗化の適用を拡大する。 その結果,提案手法は従来の手法に比べて単一ノード推定時間において桁違いに改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-10-19T06:27:24Z)
• Haste Makes Waste: A Simple Approach for Scaling Graph Neural Networks [37.41604955004456]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において顕著な成功を収めている。 GNNを大規模グラフのアプリケーションに拡張するための様々なサンプリング手法が提案されている。
  論文  参考訳（メタデータ） (2024-10-07T18:29:02Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [72.33336385797944]
  本稿では,学習バイアスを軽減するため,ラベルの効率的な正規化手法であるラベルデコンボリューション(LD)を提案する。 LDはOpen Graph Benchmarkデータセット上で最先端の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Staleness-Alleviated Distributed GNN Training via Online Dynamic-Embedding Prediction [13.575053193557697]
  本稿では,新しい分散GNNトレーニングフレームワークSAT(Staleness-Alleviated Training)を提案する。 SATのキーとなる考え方は、GNNの埋め込み進化を時間グラフとしてモデル化し、その上にモデルを構築し、将来の埋め込みを予測することである。 実験により,SATは埋込安定性を効果的に低減し,より優れた性能と収束速度を実現することができることを示した。
  論文  参考訳（メタデータ） (2023-08-25T16:10:44Z)
• Distributed Graph Neural Network Training with Periodic Historical Embedding Synchronization [9.503080586294406]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、ナレッジグラフなどの様々なアプリケーションで広く使われている。 従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。 本稿では,新しい分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
  論文  参考訳（メタデータ） (2022-05-31T18:44:53Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Towards an Efficient and General Framework of Robust Training for Graph Neural Networks [96.93500886136532]
  グラフニューラルネットワーク(GNN)は、いくつかの基本的な推論タスクに大きく進歩している。 GNNの目覚ましい性能にもかかわらず、グラフ構造上の摂動を慎重に作り、誤った予測を下すことが観察されている。 我々は,強靭なGNNを得るために,欲求探索アルゴリズムとゼロ階法を利用する汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-25T15:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。