Fugu-MT 論文翻訳(概要): Benchmarking GNN-Based Recommender Systems on Intel Optane Persistent Memory

論文の概要: Benchmarking GNN-Based Recommender Systems on Intel Optane Persistent Memory

arxiv url: http://arxiv.org/abs/2207.11918v1
Date: Mon, 25 Jul 2022 06:08:24 GMT
ステータス: 処理完了
システム内更新日: 2022-07-26 16:05:22.943971
Title: Benchmarking GNN-Based Recommender Systems on Intel Optane Persistent Memory
Title（参考訳）: intelオプタン持続メモリにおけるgnnベースのレコメンダシステムベンチマーク
Authors: Yuwei Hu, Jiajie Li, Zhongming Yu, Zhiru Zhang
Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ上の機械学習タスクを処理する効果的な方法として登場した。 GNNベースのリコメンデータシステム(GNNRecSys)を大規模グラフでトレーニングすると、大きなメモリフットプリントが発生する。シングルマシンのOptaneベースのGNNRecSysトレーニングは、分散トレーニングよりも大きなマージンで優れていることを示す。
参考スコア（独自算出の注目度）: 9.216391057418566
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph neural networks (GNNs), which have emerged as an effective method for handling machine learning tasks on graphs, bring a new approach to building recommender systems, where the task of recommendation can be formulated as the link prediction problem on user-item bipartite graphs. Training GNN-based recommender systems (GNNRecSys) on large graphs incurs a large memory footprint, easily exceeding the DRAM capacity on a typical server. Existing solutions resort to distributed subgraph training, which is inefficient due to the high cost of dynamically constructing subgraphs and significant redundancy across subgraphs. The emerging Intel Optane persistent memory allows a single machine to have up to 6 TB of memory at an affordable cost, thus making single-machine GNNRecSys training feasible, which eliminates the inefficiencies in distributed training. One major concern of using Optane for GNNRecSys is Optane's relatively low bandwidth compared with DRAMs. This limitation can be particularly detrimental to achieving high performance for GNNRecSys workloads since their dominant compute kernels are sparse and memory access intensive. To understand whether Optane is a good fit for GNNRecSys training, we perform an in-depth characterization of GNNRecSys workloads and a comprehensive benchmarking study. Our benchmarking results show that when properly configured, Optane-based single-machine GNNRecSys training outperforms distributed training by a large margin, especially when handling deep GNN models. We analyze where the speedup comes from, provide guidance on how to configure Optane for GNNRecSys workloads, and discuss opportunities for further optimizations.
Abstract（参考訳）: グラフ上の機械学習タスクを処理する効果的な方法として登場したグラフニューラルネットワーク(GNN)は、リコメンデーションシステムの構築に新たなアプローチを導入している。 GNNベースのリコメンデータシステム(GNNRecSys)を大規模グラフでトレーニングすると、メモリフットプリントが大きくなり、典型的なサーバでは容易にDRAM容量を超える。既存のソリューションでは、サブグラフを動的に構築するコストが高く、サブグラフ間で大きな冗長性を持つため、非効率な分散サブグラフトレーニングを採用している。新たなintel optane persistence memoryは、単一マシンが低コストで最大6tbのメモリを持つことができるため、シングルマシンのgnnrecsysトレーニングが実現可能となり、分散トレーニングの非効率性が排除される。 GNNRecSysでOptaneを使用する際の大きな懸念点は、DRAMと比較してOptaneの帯域幅が比較的低いことである。この制限は特に、GNNRecSysワークロードの高性能化に寄与する可能性がある。 GNNRecSysのトレーニングにOptaneが適しているかどうかを理解するため、GNNRecSysワークロードの詳細な特徴と総合的なベンチマーク研究を行う。ベンチマークの結果から,OptaneをベースとしたシングルマシンGNNRecSysトレーニングは,特に深層GNNモデルを扱う場合,分散トレーニングよりも優れていた。我々は、スピードアップの出所を分析し、gnnrecsysワークロードのオプタンの設定方法に関するガイダンスを提供し、さらなる最適化の機会について論じる。

関連論文リスト

Reducing Memory Contention and I/O Congestion for Disk-based GNN Training [6.492879435794228]
グラフニューラルネットワーク(GNN)が広く普及している。高次元特徴を持つ大規模グラフが一般的になり、その上でGNNを訓練するのは簡単ではない。巨大なグラフが与えられた場合、トレーニングプロセス中にグラフ全体のデータをメモリに保持することは困難であるため、サンプルベースのGNNトレーニングでさえ効率的に動作できない。したがって、メモリとI/Oはディスクベースのトレーニングに不可欠である。
論文参考訳（メタデータ） (2024-06-20T04:24:51Z)
Pre-Training Identification of Graph Winning Tickets in Adaptive Spatial-Temporal Graph Neural Networks [5.514795777097036]
Lottery Ticket hypothesis (LTH) から派生した Graph Winning Ticket (GWT) の概念を導入する。事前決定された恒星トポロジーをGWTとしてトレーニング前に採用することにより、エッジの削減と効率的な情報伝達のバランスをとることができる。提案手法は,48GBのメモリを備えた単一A6000を用いて,最大規模の時空間データセット上でASTGNNのトレーニングを可能にする。
論文参考訳（メタデータ） (2024-06-12T14:53:23Z)
Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
論文参考訳（メタデータ） (2023-08-23T12:27:55Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文参考訳（メタデータ） (2022-10-14T03:43:05Z)
Ginex: SSD-enabled Billion-scale Graph Neural Network Training on a Single Machine via Provably Optimal In-memory Caching [3.0479527348064197]
グラフニューラルネットワーク(GNN)は、構造化データ上の様々なグラフタスクを効果的に提供する強力なツールとして注目を浴びている。実世界のグラフのサイズが拡大を続けるにつれ、GNNトレーニングシステムはスケーラビリティの課題に直面している。我々は,1台のマシン上で数十億のグラフデータセットを処理可能な,SSDベースの初のGNNトレーニングシステムであるGinexを提案する。
論文参考訳（メタデータ） (2022-08-19T04:57:18Z)
Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs [7.549360351036771]
大規模グラフ上でのグラフニューラルネットワーク(GNN)の分散フルバッチ学習のための逐次アグリゲーション・リマテリアル化(SAR)方式を提案する。 SARは、すべてのGNNタイプを大きなグラフ上で直接トレーニングできる分散技術である。また,カーネル融合とアテンション行列再構成に基づく汎用手法を提案し,アテンションベースモデルの実行時間とメモリ効率を最適化する。
論文参考訳（メタデータ） (2021-11-11T22:27:59Z)
Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文参考訳（メタデータ） (2020-12-31T18:48:58Z)
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文参考訳（メタデータ） (2020-07-14T18:50:12Z)
Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
論文参考訳（メタデータ） (2020-06-15T22:07:54Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。