論文の概要: ReFresh: Reducing Memory Access from Exploiting Stable Historical Embeddings for Graph Neural Network Training

• arxiv url: http://arxiv.org/abs/2301.07482v2
• Date: Thu, 19 Jan 2023 03:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-20 11:25:41.690318
• Title: ReFresh: Reducing Memory Access from Exploiting Stable Historical Embeddings for Graph Neural Network Training
• Title（参考訳）: ReFresh: グラフニューラルネットワークトレーニングのための安定な履歴埋め込みからのメモリアクセス削減
• Authors: Kezhao Huang, Haitian Jiang, Minjie Wang, Guangxuan Xiao, David Wipf, Xiang Song, Quan Gan, Zengfeng Huang, Jidong Zhai, Zheng Zhang
• Abstract要約: 大規模で現実的なグラフ上でグラフニューラルネットワーク(GNN)モデルをトレーニングする際の重要なパフォーマンスボトルネックは、ノード機能をGPUにロードすることだ。 本稿では,GNNノードの埋め込みを格納・再利用するための履歴キャッシュを活用する汎用的なGNNミニバッチトレーニングフレームワークであるReFreshを提案する。 ReFreshはogbn-papers100MやMAG240Mのようなグラフデータセットのトレーニング速度を4.6倍から23.6倍に高速化し、メモリアクセスを64.5%削減することができる。
• 参考スコア（独自算出の注目度）: 32.39535464262891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key performance bottleneck when training graph neural network (GNN) models on large, real-world graphs is loading node features onto a GPU. Due to limited GPU memory, expensive data movement is necessary to facilitate the storage of these features on alternative devices with slower access (e.g. CPU memory). Moreover, the irregularity of graph structures contributes to poor data locality which further exacerbates the problem. Consequently, existing frameworks capable of efficiently training large GNN models usually incur a significant accuracy degradation because of the inevitable shortcuts involved. To address these limitations, we instead propose ReFresh, a general-purpose GNN mini-batch training framework that leverages a historical cache for storing and reusing GNN node embeddings instead of re-computing them through fetching raw features at every iteration. Critical to its success, the corresponding cache policy is designed, using a combination of gradient-based and staleness criteria, to selectively screen those embeddings which are relatively stable and can be cached, from those that need to be re-computed to reduce estimation errors and subsequent downstream accuracy loss. When paired with complementary system enhancements to support this selective historical cache, ReFresh is able to accelerate the training speed on large graph datasets such as ogbn-papers100M and MAG240M by 4.6x up to 23.6x and reduce the memory access by 64.5% (85.7% higher than a raw feature cache), with less than 1% influence on test accuracy.
• Abstract（参考訳）: 大きな実世界のグラフ上でグラフニューラルネットワーク(GNN)モデルをトレーニングする際の重要なパフォーマンスボトルネックは、ノード機能をGPUにロードすることだ。 gpuメモリが限られているため、アクセスが遅い代替デバイス(cpuメモリなど)でこれらの機能のストレージを容易にするには、高価なデータ移動が必要である。 さらに、グラフ構造の不規則性は、その問題をさらに悪化させるデータ局所性に寄与する。 したがって、大規模なGNNモデルを効率的に訓練できる既存のフレームワークは、通常、避けられないショートカットのため、かなりの精度の劣化を引き起こす。 これらの制限に対処するため、我々は、GNNノードの埋め込みを保存・再利用するための履歴キャッシュを活用する汎用的なGNNミニバッチトレーニングフレームワークであるReFreshを提案する。 その成功のために、対応するキャッシュポリシーは、相対的に安定でキャッシュ可能な埋め込みを、見積もりエラーとその後の下流精度の損失を減らすために再計算する必要があるものから選択的にスクリーニングするために、勾配ベースと停滞基準を組み合わせて設計されている。 この選択された履歴キャッシュをサポートするための補完的なシステム拡張と組み合わせることで、ReFreshはogbn-papers100MやMAG240Mといったグラフデータセットのトレーニング速度を4.6倍から23.6倍に高速化し、メモリアクセスを64.5%(生のフィーチャーキャッシュよりも85.7%高い)削減し、1%未満の精度でテストできる。

関連論文リスト

• SpanGNN: Towards Memory-Efficient Graph Neural Networks via Spanning Subgraph Training [14.63975787929143]
  グラフニューラルネットワーク(GNN)は、グラフデータを学習する能力に優れています。 フルグラフGNNトレーニングは一般的に精度が高いが、ピークメモリ使用量が多い。 本研究では,SpanGNNと呼ばれるスパンニングサブグラフを用いたメモリ効率のよいGNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T13:46:23Z)
• DiskGNN: Bridging I/O Efficiency and Model Accuracy for Out-of-Core GNN Training [12.945647145403438]
  グラフニューラルネットワーク(GNN)は、グラフデータに特化した機械学習モデルであり、多くのアプリケーションで広く利用されている。 DiskGNNは、モデル精度を損なうことなく、高いI/O効率と高速なトレーニングを実現する。 我々はDikGNNとGinexとMariusGNNを比較した。
  論文  参考訳（メタデータ） (2024-05-08T17:27:11Z)
• CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
  既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。 低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。 また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-02T20:55:39Z)
• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
  GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。 ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。 ガスは大規模グラフ上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-06-10T09:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。