論文の概要: ERGo: Energy-Efficient Hybrid Graph Neural Network Training on Processing-In-Memory Architectures
- arxiv url: http://arxiv.org/abs/2611.17478v1
- Date: Thu, 12 Nov 2026 20:02:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.253
- Title: ERGo: Energy-Efficient Hybrid Graph Neural Network Training on Processing-In-Memory Architectures
- Title(参考訳): ERGo: 処理インメモリアーキテクチャに基づくエネルギー効率の良いハイブリッドグラフニューラルネットワークトレーニング
- Abstract要約: グラフニューラルネットワーク(GNN)のトレーニングには、オフチップメモリアクセスが必要である。
このオフチップアクセスは、パフォーマンスとエネルギーの面で高価である。
ERGoと呼ばれる新しいハイブリッドトレーニングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 13.754183593794131
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Processing-in-memory (PIM) has been proposed as an alternative computing paradigm for training Deep Neural Networks, including Graph Neural Networks (GNNs). Despite these advancements, training GNN workloads on PIM devices necessitates off-chip memory access. This off-chip access is expensive in terms of performance and energy, thereby impacting the overall energy efficiency of the training process on PIM platforms. In this paper, we propose a novel hybrid training framework called ERGo that automatically switches from a full-parameter phase to a parameter-efficient phase during the training process with negligible loss in predictive accuracy. The parameter-efficient phase employs low-rank representations of GNN weights, effectively reducing the number of trainable parameters. This helps in reducing the off-chip access during the end-to-end training process on PIM architectures, leading to notable improvements in both performance and energy efficiency. ERGo outperforms the conventional full-parameter GNN training on a PIM-based platform by up to 3.15x in speedup and enhances energy efficiency by 10.5x. Furthermore, ERGo offers additional advantages when utilized on heterogeneous architectures incorporating non-volatile memory (NVM) and static random-access memory (SRAM). Training on the heterogeneous NVM-SRAM architecture typically utilizes NVM for the forward-pass and SRAM for the backward-pass. However, NVM cells suffer from low device endurance and repeated write operations due to weight updates can lead to poor lifetime. ERGo improves the lifetime of NVM devices by freezing the weights and preventing weight updates in the parameter-efficient phase. Experimental results demonstrate that ERGo improves the lifetime of heterogeneous NVM-SRAM architecture by up to 33x in comparison to full-parameter implementation.
- Abstract(参考訳): Processing-in-Memory(PIM)は、グラフニューラルネットワーク(GNN)を含むディープニューラルネットワークのトレーニングのための代替コンピューティングパラダイムとして提案されている。
これらの進歩にもかかわらず、PIMデバイス上でのGNNワークロードのトレーニングは、チップ外のメモリアクセスを必要とする。
このオフチップアクセスは性能とエネルギーの面で高価であり、PIMプラットフォーム上でのトレーニングプロセス全体のエネルギー効率に影響を与える。
本稿では,予測精度を損なうことなく,全パラメータ位相からパラメータ効率のよい位相に自動的に切り替えるERGoという新しいハイブリッドトレーニングフレームワークを提案する。
パラメータ効率のフェーズでは、GNN重みの低ランク表現を採用し、トレーニング可能なパラメータの数を効果的に削減する。
これにより、PIMアーキテクチャのエンドツーエンドのトレーニングプロセスにおけるオフチップアクセスが削減され、パフォーマンスとエネルギー効率の両方において顕著な改善がもたらされる。
ERGoはPIMベースのプラットフォーム上での通常のフルパラメータGNNトレーニングを3.15倍のスピードアップで上回り、エネルギー効率を10.5倍に向上させる。
さらに、ERGoは、不揮発性メモリ(NVM)と静的ランダムアクセスメモリ(SRAM)を組み込んだ異種アーキテクチャを利用する際に、さらなる利点を提供する。
ヘテロジニアスなNVM-SRAMアーキテクチャのトレーニングは、通常、前方パスにNVM、後方パスにSRAMを利用する。
しかし、NVMセルはデバイスの耐久性が低下し、重み更新による書き込み操作が繰り返されると寿命が低下する可能性がある。
ERGoは、重みを凍結し、パラメータ効率の位相における重み更新を防止し、NVMデバイスの寿命を改善する。
実験により,ERGoは全パラメータ実装と比較して,異種NVM-SRAMアーキテクチャの寿命を最大33倍改善することが示された。
関連論文リスト
- POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation [57.57816409869894]
大規模言語モデルをトレーニングするためのスケーラブルでメモリ効率のよい変種であるPOET-Xを紹介する。
PoET-Xは、スループットとメモリ効率を大幅に改善しながら、PoETの一般化と安定性の利点を維持している。
論文 参考訳(メタデータ) (2026-03-05T18:59:23Z) - Implementation of high-efficiency, lightweight residual spiking neural network processor based on field-programmable gate arrays [0.49806798459446283]
この研究は、アルゴリズムとハードウェアの共同設計を組み合わせて推論エネルギー効率を最適化する効率的な残留SNN加速器を提案する。
提案プロセッサは,CIFAR-10データセットの分類精度87.11%,画像あたり3.98ms,エネルギー効率183.5FPS/Wを実現している。
論文 参考訳(メタデータ) (2025-12-09T02:08:46Z) - Memory-Free and Parallel Computation for Quantized Spiking Neural Networks [12.227968342252026]
量子スパイキングニューラルネットワーク(QSNN)は、優れたエネルギー効率を提供し、リソース制限されたエッジデバイスへのデプロイに適している。
ビット幅の制限と膜電位は、顕著な性能低下をもたらす。
膜電位を直接記憶せずにすべての履歴情報をキャプチャするメモリフリー量子化手法を提案する。
論文 参考訳(メタデータ) (2025-02-25T10:34:25Z) - Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。
凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
論文 参考訳(メタデータ) (2024-02-05T10:55:47Z) - Full-Stack Optimization for CAM-Only DNN Inference [2.0837295518447934]
本稿では,3次重み付けニューラルネットワークと連想プロセッサのアルゴリズム最適化の組み合わせについて検討する。
演算強度を低減し,APの畳み込みを最適化する新しいコンパイルフローを提案する。
本研究では,イメージネット上でのResNet-18推論のエネルギー効率を,クロスバーメモリアクセラレータと比較して7.5倍向上させる。
論文 参考訳(メタデータ) (2024-01-23T10:27:38Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - FireFly: A High-Throughput Hardware Accelerator for Spiking Neural
Networks with Efficient DSP and Memory Optimization [6.966706170499345]
スパイキングニューラルネットワーク(SNN)は、強い生物学的解釈性と高エネルギー効率のために広く利用されている。
フィールドプログラマブルゲートアレイ(FPGA)のためのほとんどのSNNハードウェア実装は、演算やメモリ効率の要求を満たすことができない。
発火ニューロンから発生するスパイクをオンザフライ(FireFly)で処理できるFPGAアクセラレータを提案する。
論文 参考訳(メタデータ) (2023-01-05T04:28:07Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - EF-Train: Enable Efficient On-device CNN Training on FPGA Through Data
Reshaping for Online Adaptation or Personalization [11.44696439060875]
EF-Trainは、チャネルレベルの並列性に基づく畳み込みカーネルを統一した、効率的なDNNトレーニングアクセラレータである。
リソース制限された低消費電力エッジレベルFPGAのエンドツーエンドトレーニングを実現することができる。
我々の設計ではスループットとエネルギー効率の点で46.99GFLOPSと6.09GFLOPS/Wを実現している。
論文 参考訳(メタデータ) (2022-02-18T18:27:42Z) - Low-Precision Training in Logarithmic Number System using Multiplicative
Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。
エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。
対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文 参考訳(メタデータ) (2021-06-26T00:32:17Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳(メタデータ) (2021-01-04T18:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。