論文の概要: SmartSAGE: Training Large-scale Graph Neural Networks using In-Storage Processing Architectures

• arxiv url: http://arxiv.org/abs/2205.04711v1
• Date: Tue, 10 May 2022 07:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 18:15:15.496890
• Title: SmartSAGE: Training Large-scale Graph Neural Networks using In-Storage Processing Architectures
• Title（参考訳）: SmartSAGE:In-Storage処理アーキテクチャを用いた大規模グラフニューラルネットワークのトレーニング
• Authors: Yunjae Lee, Jinha Chung, Minsoo Rhu
• Abstract要約: グラフニューラルネットワーク(GNN)は、各オブジェクト(グラフノード)の表現と、異なるオブジェクト間の関係の両方を学ぶことによって、特徴を抽出することができる。 その強みにもかかわらず、これらのアルゴリズムを本番環境で利用することは、グラフノードとエッジの数が数十億から数十億の規模になるため、いくつかの課題に直面します。 本研究では,現在最先端の大規模GNN学習アルゴリズムであるGraphAGESの詳細な特徴付けを行う。 キャパシティ最適化NVMを用いたストレージの実現可能性について検討する。
• 参考スコア（独自算出の注目度）: 0.7792020418343023
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Graph neural networks (GNNs) can extract features by learning both the representation of each objects (i.e., graph nodes) and the relationship across different objects (i.e., the edges that connect nodes), achieving state-of-the-art performance in various graph-based tasks. Despite its strengths, utilizing these algorithms in a production environment faces several challenges as the number of graph nodes and edges amount to several billions to hundreds of billions scale, requiring substantial storage space for training. Unfortunately, state-of-the-art ML frameworks employ an in-memory processing model which significantly hampers the productivity of ML practitioners as it mandates the overall working set to fit within DRAM capacity. In this work, we first conduct a detailed characterization on a state-of-the-art, large-scale GNN training algorithm, GraphSAGE. Based on the characterization, we then explore the feasibility of utilizing capacity-optimized NVM SSDs for storing memory-hungry GNN data, which enables large-scale GNN training beyond the limits of main memory size. Given the large performance gap between DRAM and SSD, however, blindly utilizing SSDs as a direct substitute for DRAM leads to significant performance loss. We therefore develop SmartSAGE, our software/hardware co-design based on an in-storage processing (ISP) architecture. Our work demonstrates that an ISP based large-scale GNN training system can achieve both high capacity storage and high performance, opening up opportunities for ML practitioners to train large GNN datasets without being hampered by the physical limitations of main memory size.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、各オブジェクトの表現(グラフノード)と異なるオブジェクト間の関係(ノードを接続するエッジ)の両方を学習し、さまざまなグラフベースのタスクで最先端のパフォーマンスを達成することによって、特徴を抽出することができる。 その強みにもかかわらず、プロダクション環境でこれらのアルゴリズムを利用することは、グラフノードとエッジの数を数十億から数十億スケールにし、トレーニングに十分なストレージスペースを必要とするため、いくつかの課題に直面している。 残念なことに、最先端のMLフレームワークはインメモリ処理モデルを採用しており、ML実践者の生産性を著しく損なう。 本研究では,現在最先端の大規模GNNトレーニングアルゴリズムであるGraphSAGEの詳細な特徴付けを行う。 そこで,本研究では,キャパシティを最適化したnvm ssd をメモリに最適化した gnn データを格納することで,メインメモリサイズの制限を超えた大規模 gnn トレーニングを実現することの実現可能性について検討する。 しかし、DRAMとSSDの間の大きな性能差を考えると、DRAMの直接代用としてSSDを盲目的に利用すると、性能が著しく低下する。 そこで我々は,ISPアーキテクチャに基づくソフトウェア/ハードウェアの共同設計であるSmartSAGEを開発した。 我々の研究は、ISPベースの大規模GNNトレーニングシステムが高容量ストレージと高パフォーマンスの両方を実現できることを示し、ML実践者がメインメモリサイズの物理的制限に悩まされることなく、大規模なGNNデータセットをトレーニングする機会を開く。

関連論文リスト

• Reducing Memory Contention and I/O Congestion for Disk-based GNN Training [6.492879435794228]
  グラフニューラルネットワーク(GNN)が広く普及している。高次元特徴を持つ大規模グラフが一般的になり、その上でGNNを訓練するのは簡単ではない。 巨大なグラフが与えられた場合、トレーニングプロセス中にグラフ全体のデータをメモリに保持することは困難であるため、サンプルベースのGNNトレーニングでさえ効率的に動作できない。 したがって、メモリとI/Oはディスクベースのトレーニングに不可欠である。
  論文  参考訳（メタデータ） (2024-06-20T04:24:51Z)
• CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
  既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。 低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。 また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-02T20:55:39Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Benchmarking GNN-Based Recommender Systems on Intel Optane Persistent Memory [9.216391057418566]
  グラフニューラルネットワーク(GNN)は、グラフ上の機械学習タスクを処理する効果的な方法として登場した。 GNNベースのリコメンデータシステム(GNNRecSys)を大規模グラフでトレーニングすると、大きなメモリフットプリントが発生する。 シングルマシンのOptaneベースのGNNRecSysトレーニングは、分散トレーニングよりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-25T06:08:24Z)
• Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs [7.549360351036771]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)の分散フルバッチ学習のための逐次アグリゲーション・リマテリアル化(SAR)方式を提案する。 SARは、すべてのGNNタイプを大きなグラフ上で直接トレーニングできる分散技術である。 また,カーネル融合とアテンション行列再構成に基づく汎用手法を提案し,アテンションベースモデルの実行時間とメモリ効率を最適化する。
  論文  参考訳（メタデータ） (2021-11-11T22:27:59Z)
• PIM-DRAM:Accelerating Machine Learning Workloads using Processing in Memory based on DRAM Technology [2.6168147530506958]
  MLワークロードにおける行列ベクトル演算を高速化する処理インメモリ(PIM)プリミティブを提案する。 提案したアーキテクチャ,マッピング,データフローは,GPUよりも最大で23倍,6.5倍のメリットが得られることを示す。
  論文  参考訳（メタデータ） (2021-05-08T16:39:24Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。