論文の概要: SmartSAGE: Training Large-scale Graph Neural Networks using In-Storage Processing Architectures

• arxiv url: http://arxiv.org/abs/2205.04711v1
• Date: Tue, 10 May 2022 07:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 18:15:15.496890
• Title: SmartSAGE: Training Large-scale Graph Neural Networks using In-Storage Processing Architectures
• Title（参考訳）: SmartSAGE:In-Storage処理アーキテクチャを用いた大規模グラフニューラルネットワークのトレーニング
• Authors: Yunjae Lee, Jinha Chung, Minsoo Rhu
• Abstract要約: グラフニューラルネットワーク(GNN)は、各オブジェクト(グラフノード)の表現と、異なるオブジェクト間の関係の両方を学ぶことによって、特徴を抽出することができる。 その強みにもかかわらず、これらのアルゴリズムを本番環境で利用することは、グラフノードとエッジの数が数十億から数十億の規模になるため、いくつかの課題に直面します。 本研究では,現在最先端の大規模GNN学習アルゴリズムであるGraphAGESの詳細な特徴付けを行う。 キャパシティ最適化NVMを用いたストレージの実現可能性について検討する。
• 参考スコア（独自算出の注目度）: 0.7792020418343023
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Graph neural networks (GNNs) can extract features by learning both the representation of each objects (i.e., graph nodes) and the relationship across different objects (i.e., the edges that connect nodes), achieving state-of-the-art performance in various graph-based tasks. Despite its strengths, utilizing these algorithms in a production environment faces several challenges as the number of graph nodes and edges amount to several billions to hundreds of billions scale, requiring substantial storage space for training. Unfortunately, state-of-the-art ML frameworks employ an in-memory processing model which significantly hampers the productivity of ML practitioners as it mandates the overall working set to fit within DRAM capacity. In this work, we first conduct a detailed characterization on a state-of-the-art, large-scale GNN training algorithm, GraphSAGE. Based on the characterization, we then explore the feasibility of utilizing capacity-optimized NVM SSDs for storing memory-hungry GNN data, which enables large-scale GNN training beyond the limits of main memory size. Given the large performance gap between DRAM and SSD, however, blindly utilizing SSDs as a direct substitute for DRAM leads to significant performance loss. We therefore develop SmartSAGE, our software/hardware co-design based on an in-storage processing (ISP) architecture. Our work demonstrates that an ISP based large-scale GNN training system can achieve both high capacity storage and high performance, opening up opportunities for ML practitioners to train large GNN datasets without being hampered by the physical limitations of main memory size.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、各オブジェクトの表現(グラフノード)と異なるオブジェクト間の関係(ノードを接続するエッジ)の両方を学習し、さまざまなグラフベースのタスクで最先端のパフォーマンスを達成することによって、特徴を抽出することができる。 その強みにもかかわらず、プロダクション環境でこれらのアルゴリズムを利用することは、グラフノードとエッジの数を数十億から数十億スケールにし、トレーニングに十分なストレージスペースを必要とするため、いくつかの課題に直面している。 残念なことに、最先端のMLフレームワークはインメモリ処理モデルを採用しており、ML実践者の生産性を著しく損なう。 本研究では,現在最先端の大規模GNNトレーニングアルゴリズムであるGraphSAGEの詳細な特徴付けを行う。 そこで,本研究では,キャパシティを最適化したnvm ssd をメモリに最適化した gnn データを格納することで,メインメモリサイズの制限を超えた大規模 gnn トレーニングを実現することの実現可能性について検討する。 しかし、DRAMとSSDの間の大きな性能差を考えると、DRAMの直接代用としてSSDを盲目的に利用すると、性能が著しく低下する。 そこで我々は,ISPアーキテクチャに基づくソフトウェア/ハードウェアの共同設計であるSmartSAGEを開発した。 我々の研究は、ISPベースの大規模GNNトレーニングシステムが高容量ストレージと高パフォーマンスの両方を実現できることを示し、ML実践者がメインメモリサイズの物理的制限に悩まされることなく、大規模なGNNデータセットをトレーニングする機会を開く。

関連論文リスト

• Hardware/Software Co-Programmable Framework for Computational SSDs to Accelerate Deep Learning Service on Large-Scale Graphs [8.698995648930806]
  グラフニューラルネットワーク(GNN)は、100億のエッジからなる大規模グラフを処理する。 高速でエネルギー効率のよいGNN処理のための,使い易く,ほぼ保存可能な推論基盤を提供する,大規模グラフの新たなディープラーニングフレームワークであるHolisticGNNを提案する。
  論文  参考訳（メタデータ） (2022-01-23T06:08:18Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs [7.549360351036771]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)の分散フルバッチ学習のための逐次アグリゲーション・リマテリアル化(SAR)方式を提案する。 SARは、すべてのGNNタイプを大きなグラフ上で直接トレーニングできる分散技術である。 また,カーネル融合とアテンション行列再構成に基づく汎用手法を提案し,アテンションベースモデルの実行時間とメモリ効率を最適化する。
  論文  参考訳（メタデータ） (2021-11-11T22:27:59Z)
• Towards Memory-Efficient Neural Networks via Multi-Level in situ Generation [10.563649948220371]
  ディープニューラルネットワーク(DNN)は、様々なタスクにおいて優れたパフォーマンスを示している。 それらが急速に進化するにつれて、そのエスカレーション計算とメモリ要求により、リソースに制約のあるエッジデバイスへのデプロイが困難になる。 超高速なオンチップ計算で高価なメモリトランザクションを交換するための汎用的で統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-25T18:50:24Z)
• Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
  我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。 トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
  論文  参考訳（メタデータ） (2021-08-20T11:53:05Z)
• Training Graph Neural Networks with 1000 Layers [133.84813995275988]
  我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
  論文  参考訳（メタデータ） (2021-06-14T15:03:00Z)
• PIM-DRAM:Accelerating Machine Learning Workloads using Processing in Memory based on DRAM Technology [2.6168147530506958]
  MLワークロードにおける行列ベクトル演算を高速化する処理インメモリ(PIM)プリミティブを提案する。 提案したアーキテクチャ,マッピング,データフローは,GPUよりも最大で23倍,6.5倍のメリットが得られることを示す。
  論文  参考訳（メタデータ） (2021-05-08T16:39:24Z)
• Enabling Homomorphically Encrypted Inference for Large DNN Models [1.0679692136113117]
  ホモモルフィック暗号化(HE)は暗号化データを使用した推論を可能にするが、100x--10,000xメモリと実行時のオーバーヘッドが発生する。 HEを用いたセキュアディープニューラルネットワーク(DNN)推論は現在、コンピューティングとメモリリソースによって制限されている。 DRAMと永続メモリからなるハイブリッドメモリシステムの利用可能性を検討する。
  論文  参考訳（メタデータ） (2021-03-30T07:53:34Z)
• Neural Network Compression for Noisy Storage Devices [71.4102472611862]
  従来、モデル圧縮と物理ストレージは分離される。 このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
  論文  参考訳（メタデータ） (2021-02-15T18:19:07Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。