論文の概要: Haste Makes Waste: A Simple Approach for Scaling Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2410.05416v1
• Date: Mon, 7 Oct 2024 18:29:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 18:57:16.223799
• Title: Haste Makes Waste: A Simple Approach for Scaling Graph Neural Networks
• Title（参考訳）: Hasteが無駄に - グラフニューラルネットワークのスケールアップのためのシンプルなアプローチ
• Authors: Rui Xue, Tong Zhao, Neil Shah, Xiaorui Liu,
• Abstract要約: グラフニューラルネットワーク(GNN)はグラフ表現学習において顕著な成功を収めている。 GNNを大規模グラフのアプリケーションに拡張するための様々なサンプリング手法が提案されている。
• 参考スコア（独自算出の注目度）: 37.41604955004456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have demonstrated remarkable success in graph representation learning, and various sampling approaches have been proposed to scale GNNs to applications with large-scale graphs. A class of promising GNN training algorithms take advantage of historical embeddings to reduce the computation and memory cost while maintaining the model expressiveness of GNNs. However, they incur significant computation bias due to the stale feature history. In this paper, we provide a comprehensive analysis of their staleness and inferior performance on large-scale problems. Motivated by our discoveries, we propose a simple yet highly effective training algorithm (REST) to effectively reduce feature staleness, which leads to significantly improved performance and convergence across varying batch sizes. The proposed algorithm seamlessly integrates with existing solutions, boasting easy implementation, while comprehensive experiments underscore its superior performance and efficiency on large-scale benchmarks. Specifically, our improvements to state-of-the-art historical embedding methods result in a 2.7% and 3.6% performance enhancement on the ogbn-papers100M and ogbn-products dataset respectively, accompanied by notably accelerated convergence.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はグラフ表現学習において顕著な成功を収めており、大規模グラフを持つアプリケーションにGNNをスケールするための様々なサンプリング手法が提案されている。 有望なGNNトレーニングアルゴリズムのクラスは、歴史的埋め込みを利用して、GNNのモデル表現性を維持しながら、計算とメモリコストを削減する。 しかし、古い特徴履歴のため、大きな計算バイアスが生じる。 本稿では,大規模問題に対する安定性と性能の低下を包括的に分析する。 我々の発見に触発されて、機能安定性を効果的に低減するシンプルな、かつ高効率なトレーニングアルゴリズム(REST)を提案し、それによって、さまざまなバッチサイズにおけるパフォーマンスと収束性を大幅に改善する。 提案アルゴリズムは、既存のソリューションとシームレスに統合され、実装が容易である一方、包括的な実験は、大規模ベンチマークにおいて優れた性能と効率性を示している。 具体的には, 従来の埋込法の改良により, ogbn-papers100Mおよびogbn-productsデータセットの2.7%および3.6%の性能向上が達成され, 顕著な収束が促進された。

関連論文リスト

• Faster Inference Time for GNNs using coarsening [1.323700980948722]
  粗い手法はグラフを小さくするために使われ、計算が高速化される。 これまでの調査では、推論中にコストに対処できなかった。 本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T06:27:24Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• EDGE++: Improved Training and Sampling of EDGE [17.646159460584926]
  これらの問題に対処するために,EDGEモデルの強化を提案する。 具体的には,各時刻におけるアクティブノード数を最適化する等級別ノイズスケジュールを導入する。 また、生成過程を微調整し、合成されたネットワークと真のネットワークとの類似性をよりよく制御できる改良されたサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-22T22:54:20Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
  グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。 SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。 利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
  論文  参考訳（メタデータ） (2022-07-19T10:32:11Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Algorithm and System Co-design for Efficient Subgraph-based Graph Representation Learning [16.170895692951]
  グラフ表現学習(SGRL)は、最近、標準グラフニューラルネットワーク(GNN)が直面するいくつかの根本的な課題に対処するために提案されている。 本稿では,学習アルゴリズムとそのシステムサポートを共同設計し,スケーラブルなSGRLのための新しいフレームワークSURELを提案する。
  論文  参考訳（メタデータ） (2022-02-28T04:29:22Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Towards an Efficient and General Framework of Robust Training for Graph Neural Networks [96.93500886136532]
  グラフニューラルネットワーク(GNN)は、いくつかの基本的な推論タスクに大きく進歩している。 GNNの目覚ましい性能にもかかわらず、グラフ構造上の摂動を慎重に作り、誤った予測を下すことが観察されている。 我々は,強靭なGNNを得るために,欲求探索アルゴリズムとゼロ階法を利用する汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-25T15:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。